Supermicro wprowadza na rynek trzy oparte na NVIDIA, pełne, gotowe do wdrożenia superklastry generujące sztuczną inteligencję


Supermicro, Inc., dostawca kompleksowych rozwiązań IT w zakresie sztucznej inteligencji, chmury, pamięci masowej i 5G/Edge, ogłasza swoje najnowsze portfolio mające na celu przyspieszenie wdrażania generatywnej sztucznej inteligencji. Rozwiązania Supermicro SuperCluster zapewniają podstawowe elementy składowe dla teraźniejszości i przyszłości infrastruktury dużych modeli językowych (LLM). Trzy potężne rozwiązania Supermicro SuperCluster są teraz dostępne dla generatywnych obciążeń AI. Systemy chłodzone cieczą 4U lub systemy chłodzone powietrzem 8U zostały specjalnie zaprojektowane i zaprojektowane z myślą o wydajnej wydajności szkolenia LLM, a także dużych partiach i wnioskowaniu LLM o dużej objętości. Trzeci SuperCluster z chłodzonymi powietrzem systemami Supermicro NVIDIA MGX o wysokości 1U jest zoptymalizowany pod kątem wnioskowania w skali chmury.

„W erze sztucznej inteligencji jednostkę obliczeniową mierzy się obecnie klastrami, a nie tylko liczbą serwerów, a dzięki naszej zwiększonej globalnej zdolności produkcyjnej wynoszącej 5000 szaf miesięcznie możemy dostarczać naszym klientom kompletne generatywne klastry AI szybciej niż kiedykolwiek wcześniej” – powiedział Charles Liang, prezes i dyrektor generalny Supermicro. „64-węzłowy klaster obsługuje 512 procesorów graficznych NVIDIA HGX H200 z 72 TB pamięci HBM3e za pośrednictwem kilku naszych skalowalnych elementów klastra z siecią NVIDIA Quantum-2 InfiniBand i Spectrum-X Ethernet 400 Gb/s. Rozwiązania SuperCluster firmy Supermicro w połączeniu z technologią NVIDIA AI Oprogramowanie dla przedsiębiorstw idealnie nadaje się dla infrastruktur przedsiębiorstw i chmur do szkolenia współczesnych LLM przy użyciu nawet bilionów parametrów. Połączone ze sobą procesory graficzne, procesory, pamięć, pamięć masowa i sieci, po wdrożeniu w wielu węzłach w szafach, tworzą podstawę dzisiejszej sztucznej inteligencji. SuperCluster firmy Supermicro rozwiązania zapewniają podstawowe elementy składowe dla szybko rozwijających się generatywnych AI i LLM.”

„Najnowsze technologie NVIDIA dotyczące procesorów graficznych, procesorów, sieci i oprogramowania umożliwiają twórcom systemów przyspieszanie szeregu obciążeń AI nowej generacji na rynki globalne” – powiedział Kaustubh Sanghani, wiceprezes ds. zarządzania produktami GPU w firmie NVIDIA. „Wykorzystując platformę obliczeń akcelerowanych NVIDIA z produktami opartymi na architekturze Blackwell, Supermicro zapewnia klientom najnowocześniejsze, potrzebne im systemy serwerowe, które można łatwo wdrożyć w centrach danych”.

Systemy Supermicro 4U NVIDIA HGX H100/H200 z 8 procesorami graficznymi podwajają gęstość w porównaniu z systemem chłodzonym powietrzem 8U, wykorzystując chłodzenie cieczą, zmniejszając zużycie energii i obniżając całkowity koszt posiadania centrum danych. Systemy te zostały zaprojektowane do obsługi procesorów graficznych nowej generacji opartych na architekturze NVIDIA Blackwell. Jednostka dystrybucji chłodzenia Supermicro (CDU) i kolektor (CDM) to główne arterie rozprowadzające schłodzony płyn do niestandardowych płyt chłodzących Supermicro direct-to-chip (D2C), utrzymując procesory graficzne i procesory w optymalnej temperaturze, co zapewnia maksymalną wydajność. Ta technologia chłodzenia umożliwia zmniejszenie kosztów energii elektrycznej dla całego centrum danych nawet o 40% i oszczędność miejsca w centrum danych.

Systemy NVIDIA HGX H100/H200 wyposażone w 8 procesorów graficznych są idealne do treningu generatywnego Al. Szybkie, wzajemnie połączone procesory graficzne za pośrednictwem NVIDIA NVLink, duża przepustowość pamięci GPU i pojemność są kluczem do ekonomicznej obsługi modeli LLM. Supermicro SuperCluster tworzy ogromną pulę zasobów GPU, działając jako pojedynczy superkomputer AI.

Niezależnie od tego, czy dopasowujesz ogromny model podstawowy wyszkolony na zbiorze danych zawierającym biliony tokenów od podstaw, czy budujesz infrastrukturę wnioskowania LLM w skali chmury, topologia sieci typu „spine” i „liść” z nieblokującymi strukturami 400 Gb/s umożliwia skalowanie od 32 węzłów do tysięcy węzłów bezproblemowo. Dzięki w pełni zintegrowanemu chłodzeniu cieczą sprawdzone procesy testowe Supermicro dokładnie weryfikują skuteczność operacyjną i wydajność przed wysyłką.

Projekty systemów NVIDIA MGX firmy Supermicro z superchipami NVIDIA GH200 Grace Hopper stworzą plan dla przyszłych klastrów sztucznej inteligencji, które rozwiązują kluczowe wąskie gardło w generatywnym Al: przepustowość pamięci GPU i pojemność do uruchamiania modeli dużych języków (LLM) z dużymi rozmiarami partii wnioskowania w celu zmniejszenia koszty operacyjne. Klaster składający się z 256 węzłów umożliwia wydajne wnioskowanie na dużą skalę w chmurze, łatwe do wdrożenia i skalowalne.

Reklama

SuperCluster z systemem 4U chłodzonym cieczą w 5 szafach lub systemem 8U chłodzonym powietrzem w 9 szafach

256 procesorów graficznych NVIDIA H100/H200 Tensor Core w jednej skalowalnej jednostce

  • Chłodzenie cieczą umożliwiające 512 procesorów graficznych, 64 węzły, na tej samej powierzchni, co rozwiązanie z 256 procesorami graficznymi chłodzonymi powietrzem i 32 węzłami
  • 20 TB HBM3 z NVIDIA H100 lub 36 TB HBM3e z NVIDIA H200 w jednej skalowalnej jednostce
  • Sieć 1:1 zapewnia do 400 Gb/s każdemu procesorowi graficznemu, umożliwiając GPUDirect RDMA i pamięć masową do uczenia dużych modeli językowych z nawet bilionami parametrów
  • Przełączniki Ethernet 400G InfiniBand lub 400GbE Ethernet z wysoce skalowalną topologią sieci typu „spine-leaf”, w tym NVIDIA Quantum-2 InfiniBand i platforma NVIDIA Spectrum-X Ethernet.
  • Konfigurowalna struktura pamięci masowej potoku danych AI z wiodącymi w branży opcjami równoległego systemu plików
  • Oprogramowanie NVIDIA AI Enterprise 5.0 obsługujące nowe mikrousługi wnioskowania NVIDIA NIM, które przyspieszają wdrażanie modeli sztucznej inteligencji na dużą skalę
  • SuperCluster z chłodzonym powietrzem systemem NVIDIA MGX o wysokości 1U w 9 szafach

256 superchipów GH200 Grace Hopper w jednej skalowalnej jednostce

  • Do 144 GB pamięci HBM3e + 480 GB ujednoliconej pamięci LPDDR5X, odpowiedniej do wnioskowania w skali chmury, o dużej objętości, niskim opóźnieniu i dużej wielkości partii, z możliwością zmieszczenia modelu parametrów o wielkości ponad 70 B w jednym węźle.
  • Przełączniki Ethernet 400G InfiniBand lub 400GbE z wysoce skalowalną topologią sieci typu „spine-leaf”
  • Do 8 wbudowanych urządzeń pamięci masowej E1.S NVMe na węzeł
  • Konfigurowalna struktura pamięci masowej potoku danych AI z procesorami DPU NVIDIA BlueField -3 i wiodącymi w branży opcjami równoległego systemu plików, zapewniającymi dostęp do pamięci masowej o wysokiej przepustowości i małych opóźnieniach dla każdego procesora graficznego
  • Oprogramowanie NVIDIA AI Enterprise 5.0

Dzięki najwyższej możliwej do osiągnięcia wydajności sieci dla łączności GPU-GPU, rozwiązania SuperCluster firmy Supermicro są zoptymalizowane pod kątem szkolenia LLM, głębokiego uczenia się oraz wnioskowania o dużej objętości i dużej wielkości partii. Testy walidacyjne L11 i L12 firmy Supermicro w połączeniu z usługą wdrożenia na miejscu zapewniają klientom bezproblemową obsługę. Klienci otrzymują skalowalne jednostki typu plug-and-play, umożliwiające łatwe wdrożenie w centrum danych i szybsze uzyskanie wyników.



Source link

Advertisment

Więcej

Advertisment

Podobne

Advertisment

Najnowsze

Team Group przedstawia dysk SSD MP44Q M.2 Gen 4 NVMe

Znana globalna marka pamięci Team Group Inc. stara się zapewniać konsumentom różnorodne i optymalne rozwiązania w zakresie pamięci masowej. Dziś z dumą...

Google zwalnia 28 pracowników po proteście dotyczącym izraelskiego kontraktu na chmurę

Poważne konsekwencje destrukcyjnego zachowaniaGooglersi,Być może widzieliście wczoraj doniesienia o protestach w niektórych naszych biurach. Niestety kilku pracowników sprowadziło wydarzenie do naszych budynków...

Obóz programistyczny Lambda School — obecnie BloomTech — w końcu zostaje ukarany

Dlaczego? Wśród innych oszukańczych praktyk „Bloom Institute of Technology” nie nazywał ich pożyczkami. Reklamowała sposób, w jaki studenci mogą znaleźć dobrze...
Advertisment