Cerebras Systems przedstawia najszybszy na świecie układ AI z 4 bilionami tranzystorów i 900 000 rdzeni AI


Cerebras Systems, pionier w przyspieszaniu generatywnej sztucznej inteligencji, podwoił swój istniejący światowy rekord najszybszego chipa AI dzięki wprowadzeniu silnika Wafer Scale Engine 3. WSE-3 zapewnia dwukrotnie większą wydajność niż poprzedni rekordzista, Cerebras WSE -2, przy tym samym poborze mocy i za tę samą cenę. Zaprojektowany specjalnie do szkolenia największych modeli sztucznej inteligencji w branży, oparty na 5 nm tranzystor WSE-3 o masie 4 bilionów zasila superkomputer Cerebras CS-3 AI, zapewniając szczytową wydajność sztucznej inteligencji na poziomie 125 petaflopów poprzez 900 000 rdzeni obliczeniowych zoptymalizowanych pod kątem sztucznej inteligencji.

Kluczowe dane techniczne:

  • 4 biliony tranzystorów
  • 900 000 rdzeni AI
  • 125 petaflopów maksymalnej wydajności AI
  • 44 GB wbudowanej pamięci SRAM
  • Proces TSMC 5 nm
  • Pamięć zewnętrzna: 1,5 TB, 12 TB lub 1,2 PB
  • Trenuje modele AI do 24 bilionów parametrów
  • Rozmiar klastra do 2048 systemów CS-3

Dzięki ogromnemu systemowi pamięci o pojemności do 1,2 petabajta, CS-3 jest przeznaczony do uczenia frontowych modeli nowej generacji, 10 razy większych niż GPT-4 i Gemini. W jednej logicznej przestrzeni pamięci można przechowywać 24 biliony modeli parametrów, bez konieczności partycjonowania i refaktoryzacji, co radykalnie upraszcza proces szkolenia i zwiększa produktywność programistów. Uczenie modelu o bilionie parametrów na CS-3 jest tak proste, jak trenowanie modelu o miliardach parametrów na procesorach graficznych.

CS-3 został stworzony zarówno z myślą o potrzebach przedsiębiorstw, jak i hiperskali. Kompaktowe konfiguracje z czterema systemami umożliwiają dostrojenie modeli 70B w ciągu jednego dnia, podczas gdy przy pełnej skali przy użyciu systemów 2048 Llamę 70B można wyszkolić od podstaw w ciągu jednego dnia – co jest bezprecedensowym osiągnięciem w zakresie generatywnej sztucznej inteligencji.

Najnowsza platforma oprogramowania Cerebras zapewnia natywną obsługę PyTorch 2.0 oraz najnowszych modeli i technik sztucznej inteligencji, takich jak modele multimodalne, transformatory wizyjne, mieszanka ekspertów i dyfuzja. Cerebras pozostaje jedyną platformą, która zapewnia natywne przyspieszenie sprzętowe dla dynamicznej i nieustrukturyzowanej rzadkości, przyspieszając szkolenie nawet 8-krotnie.

„Kiedy rozpoczynaliśmy tę podróż osiem lat temu, wszyscy mówili, że procesory w skali waflowej to mrzonka. Nie możemy być bardziej dumni z wprowadzenia trzeciej generacji naszego przełomowego chipa AI działającego w skali wodnej” – powiedział Andrew Feldman, dyrektor generalny i współzałożyciel Cerebras.” WSE-3 to najszybszy układ AI na świecie, zaprojektowany specjalnie z myślą o najnowszych, najnowocześniejszych pracach w zakresie sztucznej inteligencji, od mieszanki ekspertów po modele o 24 bilionach parametrów. Jesteśmy podekscytowani wprowadzeniem WSE-3 i CS-3 na rynek, aby pomóc w rozwiązaniu największych współczesnych wyzwań związanych ze sztuczną inteligencją.”

Doskonała wydajność energetyczna i prostota oprogramowania
Dzięki zoptymalizowaniu każdego komponentu pod kątem pracy ze sztuczną inteligencją CS-3 zapewnia większą wydajność obliczeniową przy mniejszej przestrzeni i mniejszym zużyciu energii niż jakikolwiek inny system. Podczas gdy zużycie energii przez procesory graficzne podwaja się z pokolenia na pokolenie, CS-3 podwaja wydajność, ale pozostaje w tym samym zakresie mocy. CS-3 oferuje wyjątkową łatwość obsługi, wymagając 97% mniej kodu niż procesory graficzne dla LLM i możliwość uczenia modeli o parametrach od 1B do 24T w trybie czysto równoległym danych. Standardowa implementacja modelu o rozmiarze GPT-3 wymagała zaledwie 565 linii kodu na platformie Cerebras – co stanowi rekord w branży.

Reklama

Partnerstwa branżowe i dynamika klientów
Cerebras ma już pokaźny portfel zamówień na CS-3 w chmurach korporacyjnych, rządowych i międzynarodowych.

„Jako wieloletni partner firmy Cerebras jesteśmy podekscytowani możliwością zobaczenia, co jest możliwe dzięki ewolucji inżynierii w skali płytki. CS-3 i superkomputery oparte na tej architekturze napędzają nowatorskie systemy, które pozwalają nam badać granice pionierskich Sztuczna inteligencja i nauka” – powiedział Rick Stevens, zastępca dyrektora laboratorium Argonne National Laboratory ds. informatyki, środowiska i nauk przyrodniczych. „Śmiałość tego, co robi Cerebras, odpowiada naszym ambicjom i odpowiada naszemu sposobowi myślenia o przyszłości”.

„W ramach naszej wieloletniej strategicznej współpracy z Cerebras w celu opracowania modeli sztucznej inteligencji, które poprawiają wyniki pacjentów i diagnozy, z radością obserwujemy postęp w zakresie możliwości technologicznych, który usprawni nasze wysiłki” – powiedział dr Matthew Callstrom, lekarz medycyny, Mayo Dyrektor medyczny kliniki ds. strategii i kierownik katedry radiologii.

CS-3 odegra także ważną rolę w pionierskim partnerstwie strategicznym pomiędzy Cerebras i G42. Partnerstwo Cerebras i G42 zapewniło już 8 exaFLOPów wydajności superkomputerów AI za pośrednictwem Condor Galaxy 1 (CG-1) i Condor Galaxy 2 (CG-2). Zarówno CG-1, jak i CG-2, wdrożone w Kalifornii, należą do największych superkomputerów AI na świecie.

Dziś Cerebras i G42 ogłosiły, że Condor Galaxy 3 jest w budowie. Condor Galaxy 3 zostanie zbudowany z 64 systemów CS-3, wytwarzających 8 exaFLOPów obliczeń AI, co będzie stanowić jeden z największych superkomputerów AI na świecie. Condor Galaxy 3 to już trzecia instalacja w sieci Condor Galaxy. Strategiczne partnerstwo Cerebras G42 ma zapewnić dziesiątki exaFLOPów obliczeń AI. Condor Galaxy przeszkolił niektóre z wiodących w branży modeli open source, w tym Jais-30B, Med42, Crystal-Coder-7B i BTLM-3B-8K.

„Nasze strategiczne partnerstwo z Cerebras odegrało kluczową rolę w napędzaniu innowacji na szczycie G42 i przyczyni się do przyspieszenia rewolucji sztucznej inteligencji w skali globalnej” – powiedział Kiril Evtimow, dyrektor ds. technicznych grupy G42. „Condor Galaxy 3, nasz kolejny superkomputer AI wyposażony w 8 exaFLOPów, jest obecnie w budowie i wkrótce zwiększy całkowitą produkcję obliczeniową AI naszego systemu do 16 exaFLOPów”.

Więcej informacji można znaleźć na stronie https://www.cerebras.net/product-system/.



Source link

Advertisment

Więcej

Advertisment

Podobne

Advertisment

Najnowsze

Unijna ustawa o sztucznej inteligencji nie chroni praworządności i przestrzeni obywatelskiej

Unia Europejska (UE) Ustawa o sztucznej inteligencji (AI). Jak wynika z oceny Europejskiego Centrum Prawa Non-Profit (ECNL), „nie chroni skutecznie praworządności i przestrzeni...

57-calowy Predator Z57 firmy Acer trafia do sprzedaży detalicznej

Dla tych, którzy nie są zadowoleni z rozdzielczości większości ultraszerokokątnych wyświetlaczy dostępnych na rynku, nowy dodatek firmy Acer do linii Predator powinien zadowolić...

Emulator iPhone’a „iGBA” został usunięty z App Store, ale nie jesteśmy pewni dlaczego

W weekend pierwszy emulator gier na konsolę przenośną trafić do App Storepo złagodzeniu wytycznych dotyczących recenzji App Store tydzień wcześniej. Przewiń do przodu o...
Advertisment