„Koszty obliczeniowe współczesnych modeli sztucznej inteligencji rosną w niezrównoważonym tempie. Przemysł potrzebuje zasadniczo nowych podejść umożliwiających skalowanie. Z tego powodu opracowaliśmy Hala Point, która łączy wydajność głębokiego uczenia się z nowatorskimi możliwościami uczenia się i optymalizacji inspirowanymi mózgiem. Mamy nadzieję, że że badania prowadzone wspólnie z Hala Point zwiększą wydajność i możliwości adaptacji wielkoskalowej technologii sztucznej inteligencji”. -Mike Davies, dyrektor laboratorium obliczeń neuromorficznych w laboratoriach Intel
Co robi: Hala Point to pierwszy wielkoskalowy system neuromorficzny, który demonstruje najnowocześniejszą wydajność obliczeniową w przypadku głównych obciążeń AI. Charakterystyka pokazuje, że może obsłużyć do 20 biliardów operacji na sekundę, czyli 20 petaops, przy wydajności przekraczającej 15 bilionów 8-bitowych operacji na sekundę na wat (TOPS/W) podczas wykonywania konwencjonalnych głębokich sieci neuronowych. Konkuruje to, a nawet przewyższa poziomy osiągane przez architektury zbudowane na jednostkach przetwarzania graficznego (GPU) i jednostkach centralnych (CPU). Unikalne możliwości Hala Point mogą w przyszłości umożliwić ciągłe uczenie się w czasie rzeczywistym na potrzeby zastosowań sztucznej inteligencji, takich jak rozwiązywanie problemów naukowych i inżynieryjnych, logistyka, inteligentne zarządzanie infrastrukturą miejską, duże modele językowe (LLM) i agenci sztucznej inteligencji.
Jak będzie używany: Naukowcy z Sandia National Laboratories planują wykorzystać Hala Point do zaawansowanych badań obliczeniowych w skali mózgu. Organizacja skupi się na rozwiązywaniu naukowych problemów obliczeniowych z zakresu fizyki urządzeń, architektury komputerów, informatyki i informatyki.
„Współpraca z Hala Point poprawia zdolność naszego zespołu w Sandii do rozwiązywania problemów związanych z modelowaniem obliczeniowym i naukowym. Prowadzenie badań przy użyciu systemu tej wielkości pozwoli nam dotrzymać kroku ewolucji sztucznej inteligencji w dziedzinach od komercyjnej, przez obronność, po nauki podstawowe” – powiedział Craig Vineyard , kierownik zespołu Hala Point w Sandia National Laboratories.
Obecnie Hala Point to prototyp badawczy, który zwiększy możliwości przyszłych systemów komercyjnych. Intel przewiduje, że takie wnioski doprowadzą do praktycznych postępów, takich jak zdolność nauczycieli akademickich do ciągłego uczenia się na podstawie nowych danych. Takie postępy obiecują znacznie zmniejszyć niezrównoważone obciążenie szkoleniowe związane z powszechnymi wdrożeniami sztucznej inteligencji.
Dlaczego to ma znaczenie: Ostatnie trendy w zwiększaniu skali modeli głębokiego uczenia się do bilionów parametrów ujawniły zniechęcające wyzwania związane ze zrównoważonym rozwojem sztucznej inteligencji i uwydatniły potrzebę innowacji na najniższych poziomach architektury sprzętowej. Obliczenia neuromorficzne to całkowicie nowe podejście, które czerpie z odkryć neuronauki, które integrują pamięć i przetwarzanie danych z wysoce szczegółowym równoległością, aby zminimalizować przepływ danych. W opublikowanych wynikach Międzynarodowej Konferencji na temat Akustyki, Mowy i Przetwarzania Sygnałów (ICASSP), która odbyła się w tym miesiącu, Loihi 2 wykazał rząd wielkości wzrost wydajności, szybkości i możliwości adaptacji pojawiających się obciążeń brzegowych na małą skalę.
Bazując na swoim poprzedniku, Pohoiki Springs, z licznymi ulepszeniami, Hala Point zapewnia teraz neuromorficzny wzrost wydajności i wydajności w głównych konwencjonalnych modelach głębokiego uczenia się, zwłaszcza tych przetwarzających obciążenia w czasie rzeczywistym, takie jak wideo, mowa i komunikacja bezprzewodowa. Na przykład firma Ericsson Research stosuje Loihi 2 w celu optymalizacji wydajności infrastruktury telekomunikacyjnej, co podkreślono podczas tegorocznego Światowego Kongresu Mobilności.
Informacje o Hala Point: Neuromorficzne procesory Loihi 2, które stanowią podstawę Hala Point, wykorzystują zasady obliczeń inspirowane mózgiem, takie jak asynchroniczne, oparte na zdarzeniach sieci neuronowe (SNN), zintegrowana pamięć i przetwarzanie oraz rzadkie i stale zmieniające się połączenia z osiągnąć rzędu wielkości wzrost zużycia energii i wydajności. Neurony komunikują się ze sobą bezpośrednio, a nie za pośrednictwem pamięci, co zmniejsza ogólne zużycie energii.
Hala Point składa się z 1152 procesorów Loihi 2 wyprodukowanych w oparciu o węzeł procesowy Intel 4 w obudowie centrum danych mieszczącej sześć szaf rack wielkości kuchenki mikrofalowej. System obsługuje do 1,15 miliarda neuronów i 128 miliardów synaps rozmieszczonych w 140 544 neuromorficznych rdzeniach przetwarzających, zużywając maksymalnie 2600 watów mocy. Zawiera także ponad 2300 wbudowanych procesorów x86 do obliczeń pomocniczych.
Hala Point integruje kanały przetwarzania, pamięci i komunikacji w masowo zrównoleglonej strukturze, zapewniając łącznie 16 petabajtów na sekundę (PB/s) przepustowości pamięci, 3,5 PB/s przepustowości komunikacji między rdzeniami i 5 terabajtów na sekundę ( TB/s) przepustowości komunikacji między chipami. System może przetwarzać ponad 380 bilionów 8-bitowych synaps i ponad 240 bilionów operacji neuronowych na sekundę.
Zastosowany w inspirowanych biologicznie modelach impulsowych sieci neuronowych, system może wykorzystywać pełną pojemność 1,15 miliarda neuronów 20 razy szybciej niż ludzki mózg i do 200 razy szybciej przy mniejszej wydajności. Chociaż Hala Point nie jest przeznaczony do modelowania neuronaukowego, jego pojemność neuronów jest mniej więcej równa pojemności mózgu sowy lub kory kapucynki.
Systemy oparte na Loihi mogą wnioskować za pomocą sztucznej inteligencji i rozwiązywać problemy optymalizacyjne, zużywając 100 razy mniej energii i przy prędkościach nawet 50 razy większych niż konwencjonalne architektury procesorów CPU i GPU. Dzięki wykorzystaniu rzadkiej łączności do 10:1 i aktywności sterowanej zdarzeniami, wczesne wyniki Hala Point pokazują, że system może osiągnąć wydajność głębokiej sieci neuronowej nawet na poziomie 15 TOPS/W2 bez konieczności gromadzenia danych wejściowych w wsadach, co jest powszechną optymalizacją dla Procesory graficzne znacznie opóźniające przetwarzanie danych przychodzących w czasie rzeczywistym, takich jak wideo z kamer. Będąc jeszcze w fazie badań, przyszłe neuromorficzne LLM zdolne do ciągłego uczenia się mogą skutkować gigawatogodzinami oszczędności energii poprzez wyeliminowanie potrzeby okresowego ponownego szkolenia przy użyciu stale rosnących zbiorów danych.
Co dalej: Dostawa Hala Point do Sandia National Labs oznacza pierwsze wdrożenie nowej rodziny wielkoskalowych neuromorficznych systemów badawczych, którymi Intel planuje udostępnić swoim współpracownikom badawczym. Dalszy rozwój umożliwi aplikacjom obliczeń neuromorficznych pokonanie ograniczeń mocy i opóźnień, które ograniczają wdrażanie możliwości sztucznej inteligencji w świecie rzeczywistym i w czasie rzeczywistym.
Wraz z ekosystemem składającym się z ponad 200 członków Intel Neuromorphic Research Community (INRC), w tym wiodących grup akademickich, laboratoriów rządowych, instytucji badawczych i firm na całym świecie, Intel pracuje nad przesuwaniem granic sztucznej inteligencji inspirowanej mózgiem i rozwijaniem tej technologii na podstawie prototypów badawczych do wiodących w branży produktów komercyjnych w nadchodzących latach.