Systemy Cerebras ustanawiają rekord dla największych modeli AI, jakie kiedykolwiek szkolono na jednym urządzeniu


Cerebras Systems, pionier w wysokowydajnej sztucznej inteligencji (AI), ogłosił dziś po raz pierwszy możliwość trenowania modeli o nawet 20 miliardach parametrów na jednym systemie CS-2 – wyczyn niemożliwy do osiągnięcia w żadnym innym jedno urządzenie. Umożliwiając pojedynczemu CS-2 trenowanie tych modeli, Cerebras skraca czas projektowania systemu niezbędny do uruchomienia dużych modeli przetwarzania języka naturalnego (NLP) z miesięcy do minut. Eliminuje również jeden z najbardziej bolesnych aspektów NLP — mianowicie partycjonowanie modelu na setki lub tysiące małych procesorów graficznych (GPU).

„W NLP okazuje się, że większe modele są dokładniejsze. Ale tradycyjnie tylko kilka wybranych firm miało zasoby i wiedzę niezbędną do wykonania żmudnej pracy polegającej na dzieleniu tych dużych modeli i rozmieszczaniu ich na setkach lub tysiącach procesorów graficznych – powiedział Andrew Feldman, dyrektor generalny i współzałożyciel Cerebras Systems. „W rezultacie tylko bardzo niewiele firm mogło trenować duże modele NLP – było to zbyt drogie, czasochłonne i niedostępne dla reszty branży. Dziś jesteśmy dumni z demokratyzacji dostępu do GPT-3 1.3B, GPT-J 6B , GPT-3 13B i GPT-NeoX 20B, umożliwiające całemu ekosystemowi sztucznej inteligencji konfigurowanie dużych modeli w ciągu kilku minut i trenowanie ich na jednym CS-2”.

„GSK generuje niezwykle duże zbiory danych poprzez badania genomiczne i genetyczne, a te zbiory danych wymagają nowego sprzętu do prowadzenia uczenia maszynowego” – powiedział Kim Branson, starszy wiceprezes ds. sztucznej inteligencji i uczenia maszynowego w GSK. „Cerebras CS-2 jest kluczowym komponentem, który pozwala GSK trenować modele językowe przy użyciu biologicznych zbiorów danych w skali i rozmiarze wcześniej nieosiągalnym. Te fundamentalne modele stanowią podstawę wielu naszych systemów sztucznej inteligencji i odgrywają istotną rolę w odkrywaniu transformacyjnych leki.”

Te pierwsze na świecie możliwości są możliwe dzięki połączeniu rozmiaru i zasobów obliczeniowych dostępnych w Cerebras Wafer Scale Engine-2 (WSE-2) oraz rozszerzeń architektury oprogramowania Weight Streaming dostępnych w wersji R1.4 platformy oprogramowania Cerebras , CSoft.

Gdy model mieści się na jednym procesorze, szkolenie AI jest łatwe. Ale kiedy model ma więcej parametrów, niż może zmieścić się w pamięci, albo warstwa wymaga więcej mocy obliczeniowej, niż może obsłużyć pojedynczy procesor, złożoność eksploduje. Model musi zostać rozbity i rozłożony na setki lub tysiące GPU. Ten proces jest bolesny i często trwa miesiące. Co gorsza, proces ten jest unikalny dla każdej pary klastrów obliczeniowych sieci, więc pracy nie można przenieść do różnych klastrów obliczeniowych ani w sieciach neuronowych. Jest całkowicie zindywidualizowany.

Cerebras WSE-2 to największy procesor, jaki kiedykolwiek zbudowano. Jest 56 razy większy, ma 2,55 biliona więcej tranzystorów i ma 100 razy więcej rdzeni obliczeniowych niż największy GPU. Rozmiar i zasoby obliczeniowe na WSE-2 umożliwiają dopasowanie każdej warstwy nawet największych sieci neuronowych. Architektura Cerebras Weight Streaming dezagreguje pamięć i obliczenia, umożliwiając wzrost pamięci (używanej do przechowywania parametrów) niezależnie od zasobów obliczeniowych. W ten sposób pojedynczy CS-2 może obsługiwać modele o setkach miliardów, a nawet bilionów parametrów.

Z drugiej strony jednostki przetwarzania grafiki mają stałą ilość pamięci na GPU. Jeśli model wymaga więcej parametrów niż mieści się w pamięci, należy dokupić więcej procesorów graficznych, a następnie rozłożyć pracę na kilka GPU. Rezultatem jest eksplozja złożoności. Rozwiązanie Cerebras jest znacznie prostsze i bardziej eleganckie: poprzez dezagregację obliczeń z pamięci, architektura Weight Streaming umożliwia obsługę modeli o dowolnej liczbie parametrów, które można uruchomić na jednym CS-2.

Reklama

Dzięki mocy obliczeniowej WSE-2 i architektonicznej elegancji architektury Weight Streaming, Cerebras jest w stanie obsłużyć w jednym systemie największe sieci NLP. Wspierając te sieci na jednym CS-2, Cerebras skraca czas konfiguracji do minut i umożliwia przenoszenie modelu. Na przykład można przełączać się między GPT-J i GPT-Neo za pomocą kilku naciśnięć klawiszy, co zajęłoby miesiące czasu inżynieryjnego na klastrze składającym się z setek procesorów graficznych.

Mając klientów w Ameryce Północnej, Azji, Europie i na Bliskim Wschodzie, Cerebras dostarcza wiodące w branży rozwiązania AI dla rosnącej liczby klientów w segmentach przedsiębiorstw, instytucji rządowych i obliczeń o wysokiej wydajności (HPC), w tym GlaxoSmithKline, AstraZeneca, TotalEnergies, nference, Argonne National Laboratory, Lawrence Livermore National Laboratory, Pittsburgh Supercomputing Center, Leibniz Supercomputing Centre, National Center for Supercomputing Applications, Edinburgh Parallel Computing Center (EPCC), National Energy Technology Laboratory oraz Tokyo Electron Devices.

Aby uzyskać więcej informacji na temat platformy oprogramowania Cerebras, odwiedź stronę https://www.cerebras.net/product-software/.



Source link

Advertisment

Więcej

ZOSTAW ODPOWIEDŹ

Proszę wpisać swój komentarz!
Proszę podać swoje imię tutaj

Advertisment

Podobne

Advertisment

Najnowsze

Najnowszy czarny charakter Batmana to robot Failsafe w Batman #125 Chipa Zdarsky’ego

Od 2006 roku DC Ordynans seria była miejscem, w którym najwięksi pisarze firmy robili swoje największe huśtawki — do pisania Historia...

Nowoczesny komputer All-in-One z serii AM272 firmy MSI może być Twoim zaufanym partnerem dla biznesu

Firma MSI, światowy lider w wysokowydajnych i innowacyjnych rozwiązaniach komputerowych, ogłosił wprowadzenie nowoczesnego komputera All-in-One z serii AM272 wyposażonego w najnowsze oprogramowanie, które...

James Cameron mówi, że Avatar 4 to „skurwysyn” — ale może nie reżyserować tego

W porządku, jeśli się zgubiłeś, ale oto krótkie przypomnienie, że w tym roku Avatar: Droga Wody to tylko pierwszy z potencjalnych...
Advertisment

Chcesz być na bieżąco z najnowszymi wiadomościami?

Bardzo chcielibyśmy usłyszeć od Ciebie! Podaj swoje dane, a pozostaniemy w kontakcie. To takie proste!