Nvidia przedstawia procesor graficzny Blackwell B200, „najpotężniejszy na świecie układ” dla sztucznej inteligencji


Niezbędny układ Nvidii H100 AI to zrobił wielomilionową firmątaki, który może być tego wart więcej niż Alphabet i Amazoni konkurenci walcząc, żeby dogonić. Być może jednak Nvidia wkrótce powiększy swoją przewagę — dzięki nowemu procesorowi graficznemu Blackwell B200 i „superchipowi” GB200.

Dyrektor generalny Nvidii, Jensen Huang, trzyma swój nowy procesor graficzny po lewej stronie, obok H100 po prawej stronie, podczas transmisji na żywo z GTC.
Obraz: Nvidia

Nvidia twierdzi, że nowy procesor graficzny B200 oferuje aż 20 petaflopy mocy FP4 z 208 miliardów tranzystorów oraz że GB200, który łączy dwa z tych procesorów graficznych z jednym procesorem Grace, może zaoferować 30 razy większą wydajność w przypadku obciążeń wnioskowania LLM, a jednocześnie jest potencjalnie znacznie bardziej wydajny. „Zmniejsza koszty i zużycie energii nawet 25 razy” w porównaniu z H100, mówi Nvidia.

W teście porównawczym GPT-3 LLM ze 175 miliardami parametrów Nvidia twierdzi, że GB200 ma nieco skromniejszą, siedmiokrotnie większą wydajność niż H100, a Nvidia twierdzi, że oferuje 4-krotnie większą prędkość uczenia.

Oto jak wygląda jeden GB200. Dwa procesory graficzne, jeden procesor, jedna płyta główna.
Obraz: Nvidia

Nvidia powiedziała dziennikarzom, że jedną z kluczowych różnic jest silnik transformatorowy drugiej generacji, który podwaja moc obliczeniową, przepustowość i rozmiar modelu, wykorzystując cztery bity na każdy neuron zamiast ośmiu (a więc 20 petaflopów 4PR, o których wspomniałem wcześniej). Druga kluczowa różnica pojawia się tylko wtedy, gdy na serwerze połączy się ogromną liczbę procesorów graficznych: przełącznik NVLink nowej generacji, który umożliwia komunikację między 576 procesorami graficznymi przy przepustowości dwukierunkowej wynoszącej 1,8 terabajta na sekundę.

Reklama

Wymagało to od Nvidii zbudowania zupełnie nowego chipa przełącznika sieciowego, zawierającego 50 miliardów tranzystorów i część własnego układu obliczeniowego: 3,6 teraflopa 8PR, mówi Nvidia.

Nvidia twierdzi, że dodaje do Blackwell zarówno FP4, jak i FP6.
Obraz: Nvidia

Wcześniej, jak twierdzi Nvidia, klaster składający się z zaledwie 16 procesorów graficznych spędzał 60 procent czasu na komunikacji między sobą, a tylko 40 procent na rzeczywistym przetwarzaniu.

Nvidia oczywiście liczy na to, że firmy kupią duże ilości tych procesorów graficznych i pakują je w większe konstrukcje gotowe do pracy z superkomputerami, takie jak GB200 NVL72, który umożliwia podłączenie 36 procesorów i 72 procesorów graficznych do jednego chłodzonego cieczą stojaka, co daje w sumie 720 procesorów petaflopy wydajności szkolenia AI lub 1440 petaflopów (czyli 1,4 eksaflopy) wnioskowania.

GB200 NVL72.
Obraz: Nvidia

Każda taca w szafie zawiera albo dwa chipy GB200, albo dwa przełączniki NVLink, przy czym na szafę przypada 18 pierwszych i 9 drugich. W sumie Nvidia twierdzi, że jedna z tych szaf może obsługiwać model o parametrach 27 bilionów. Mówi się, że GPT-4 to model o parametrach około 1,7 biliona.

Firma twierdzi, że Amazon, Google, Microsoft i Oracle już planują zaoferować szafy NVL72 w swojej ofercie usług w chmurze, choć nie jest jasne, ile kupują.

I oczywiście Nvidia chętnie oferuje firmom również resztę rozwiązania. Oto DGX Superpod dla DGX GB200, który łączy osiem systemów w jeden, co daje łącznie 288 procesorów, 576 procesorów graficznych, 240 TB pamięci i 11,5 eksaflopów mocy obliczeniowej FP4.

Nvidia twierdzi, że jej systemy można skalować do dziesiątek tysięcy superchipów GB200, połączonych siecią 800 Gb/s za pomocą nowego Quantum-X800 InfiniBand (do 144 połączeń) lub Spectrum-X800 Ethernet (do 64 połączeń).



Source link

Advertisment

Więcej

Advertisment

Podobne

Advertisment

Najnowsze

Czy Trubbish może być błyszczący w Pokémon Go?

Trubbish, Pokémon w worku na śmieci z Unovy, można znaleźć na wolności w Pokemon Go. Tak, Trubbish może się błyszczeć...

Tak, aplikacja YouTube próbuje teraz przejąć wygaszacz ekranu Apple TV

Jedną z najlepszych funkcji Apple TV jest bogata kolekcja wygaszaczy ekranu Antena. Gdy Apple TV będzie bezczynny przez kilka minut, system tvOS...

Fortnite pozwoli graczom ukryć wredne emotki

Fortnite we wtorek udostępni aktualizację zawierającą nowe ustawienie filtrujące emocje „konfrontacyjne”.. Aktualizacja v29.30 pozwoli graczom „nie widzieć” następujących emotek: „Śmiej się”, „Weź...
Advertisment