W teście porównawczym wykorzystano część pełnego zestawu danych GPT-3 popularnej usługi ChatGPT, który, ekstrapolując, Eos mógł teraz trenować w zaledwie osiem dni, 73 razy szybciej niż poprzedni, najnowocześniejszy system wykorzystujący procesory graficzne 512 A100. Przyspieszenie czasu szkolenia zmniejsza koszty, oszczędza energię i skraca czas wprowadzenia produktu na rynek. To ogromne wyzwanie, które sprawia, że duże modele językowe są szeroko dostępne, więc każda firma może je zastosować za pomocą narzędzi takich jak NVIDIA NeMo, platforma do dostosowywania LLM. W nowym teście generatywnej sztucznej inteligencji w tej rundzie 1024 procesorów graficznych opartych na architekturze NVIDIA Hopper przeszło test porównawczy szkoleniowy oparty na modelu zamiany tekstu na obraz Stable Diffusion w 2,5 minuty, ustanawiając wysoką poprzeczkę w przypadku tego nowego obciążenia. Przyjmując te dwa testy, MLPerf umacnia swoją pozycję lidera jako branżowego standardu pomiaru wydajności sztucznej inteligencji, ponieważ generatywna sztuczna inteligencja jest technologią naszych czasów, która ma największe zmiany.
Skalowanie systemu gwałtownie rośnie
Najnowsze wyniki wynikały częściowo z zastosowania największej liczby akceleratorów, jakie kiedykolwiek zastosowano w benchmarku MLPerf. 10 752 procesorów graficznych H100 znacznie przekroczyło skalowanie podczas szkolenia AI w czerwcu, kiedy NVIDIA użyła 3584 procesorów graficznych Hopper.
3-krotne skalowanie numerów GPU zapewniło 2,8-krotne skalowanie wydajności, co stanowi współczynnik wydajności na poziomie 93%, częściowo dzięki optymalizacji oprogramowania.
Efektywne skalowanie jest kluczowym wymogiem w generatywnej sztucznej inteligencji, ponieważ LLM rosną każdego roku o rząd wielkości. Najnowsze wyniki pokazują zdolność firmy NVIDIA do sprostania temu bezprecedensowemu wyzwaniu nawet dla największych centrów danych na świecie.
Osiągnięcie to jest możliwe dzięki platformie full-stack innowacji w zakresie akceleratorów, systemów i oprogramowania, z której w ostatniej rundzie korzystały zarówno Eos, jak i Microsoft Azure.
Zarówno Eos, jak i Azure wykorzystały 10 752 procesorów graficznych H100 w oddzielnych zgłoszeniach. Osiągnęli wynik w granicach 2% tej samej wydajności, co demonstruje efektywność sztucznej inteligencji NVIDIA we wdrożeniach w centrach danych i chmurach publicznych.
NVIDIA polega na platformie Eos w szerokiej gamie krytycznych zadań. Pomaga w rozwijaniu takich inicjatyw, jak NVIDIA DLSS, oprogramowanie oparte na sztucznej inteligencji do najnowocześniejszej grafiki komputerowej, oraz projekty badawcze NVIDIA, takie jak ChipNeMo, generatywne narzędzia AI, które pomagają projektować procesory graficzne nowej generacji.
Postępy w różnych obciążeniach
NVIDIA ustanowiła w tej rundzie kilka nowych rekordów, a także poczyniła postępy w zakresie generatywnej sztucznej inteligencji.
Na przykład procesory graficzne H100 były 1,6 razy szybsze niż modele rekomendujące szkolenia z poprzedniej rundy, powszechnie stosowane, aby pomóc użytkownikom znaleźć to, czego szukają w Internecie. Wydajność w przypadku RetinaNet, komputerowego modelu widzenia, wzrosła 1,8 razy.
Wzrosty te wynikały z połączenia postępu w oprogramowaniu i powiększonym sprzęcie.
NVIDIA po raz kolejny była jedyną firmą, która przeprowadziła wszystkie testy MLPerf. Procesory graficzne H100 wykazały najszybszą wydajność i największe skalowanie w każdym z dziewięciu testów porównawczych.
Przyspieszenie przekłada się na szybszy czas wprowadzenia produktu na rynek, niższe koszty i oszczędność energii dla użytkowników szkolących ogromne LLM lub dostosowujących je za pomocą platform takich jak NeMo do konkretnych potrzeb ich firmy.
W tej rundzie jedenastu producentów systemów wykorzystało platformę NVIDIA AI w swoich zgłoszeniach, w tym ASUS, Dell Technologies, Fujitsu, GIGABYTE, Lenovo, QCT i Supermicro.
Partnerzy NVIDIA uczestniczą w MLPerf, ponieważ wiedzą, że jest to cenne narzędzie dla klientów oceniających platformy i dostawców AI.
Testy porównawcze HPC Rozwiń
W MLPerf HPC, oddzielnym teście porównawczym dla symulacji wspomaganych sztuczną inteligencją na superkomputerach, procesory graficzne H100 zapewniły w ostatniej rundzie HPC nawet dwukrotnie większą wydajność niż procesory graficzne NVIDIA A100 Tensor Core. Wyniki wykazały aż 16-krotny wzrost od pierwszej rundy MLPerf HPC w 2019 r.
Test porównawczy obejmował nowy test, który szkoli OpenFold – model przewidujący trójwymiarową strukturę białka na podstawie sekwencji aminokwasów. OpenFold może w ciągu kilku minut wykonać istotną pracę dla opieki zdrowotnej, która wcześniej zajmowała naukowcom tygodnie lub miesiące.
Zrozumienie struktury białka jest kluczem do szybkiego znalezienia skutecznych leków, ponieważ większość leków działa na białka, maszynerię komórkową, która pomaga kontrolować wiele procesów biologicznych.
W teście MLPerf HPC procesory graficzne H100 przeszkoliły OpenFold w 7,5 minuty. Test OpenFold jest reprezentatywną częścią całego procesu szkoleniowego AlphaFold, który dwa lata temu trwał 11 dni przy użyciu 128 akceleratorów.
Wersja modelu OpenFold i oprogramowanie, którego NVIDIA użyła do jego szkolenia, będą wkrótce dostępne w NVIDIA BioNeMo, platformie generatywnej sztucznej inteligencji do odkrywania leków.
W tej rundzie kilku partnerów przesłało zgłoszenia dotyczące platformy NVIDIA AI. Należą do nich Dell Technologies i centra superkomputerowe na Uniwersytecie Clemson, Texas Advanced Computing Center oraz – przy wsparciu firmy Hewlett Packard Enterprise (HPE) – Lawrence Berkeley National Laboratory.
Benchmarki z szerokim poparciem
Od momentu powstania w maju 2018 r. testy porównawcze MLPerf cieszą się szerokim poparciem zarówno ze strony przemysłu, jak i środowiska akademickiego. Organizacje je obsługujące to Amazon, Arm, Baidu, Google, Harvard, HPE, Intel, Lenovo, Meta, Microsoft, NVIDIA, Uniwersytet Stanforda i Uniwersytet w Toronto.
Testy MLPerf są przejrzyste i obiektywne, dzięki czemu użytkownicy mogą polegać na wynikach przy podejmowaniu świadomych decyzji zakupowych.
Całe oprogramowanie używane przez firmę NVIDIA jest dostępne w repozytorium MLPerf, dzięki czemu wszyscy programiści mogą uzyskać takie same, światowej klasy wyniki. Te optymalizacje oprogramowania są stale gromadzone w kontenerach dostępnych w NGC, centrum oprogramowania NVIDIA dla aplikacji GPU.
