„Branża ma wyraźną potrzebę: wypełnić luki w dzisiejszej ofercie generatywnej sztucznej inteligencji dla przedsiębiorstw za pomocą wysokowydajnych i wydajnych opcji obliczeniowych. Najnowsze wyniki MLPerf opublikowane przez MLCommons ilustrują wyjątkową wartość, jaką Intel Gaudi wnosi na rynek, gdy przedsiębiorstwa i klienci szukają więcej ekonomiczne, skalowalne systemy ze standardową obsługą sieci i otwartym oprogramowaniem, dzięki którym GenAI jest bardziej dostępna dla większej liczby klientów” – powiedział Zane Ball, wiceprezes korporacyjny firmy Intel i dyrektor generalny ds. zarządzania produktami DCAI.
Więcej klientów chce korzystać z GenAI, ale nie może tego zrobić ze względu na koszty, skalę i wymagania rozwojowe. Ponieważ w ubiegłym roku tylko 10% przedsiębiorstw pomyślnie wdrożyło projekty GenAI do produkcji, oferta Intela w zakresie sztucznej inteligencji odpowiada na wyzwania stojące przed firmami podczas skalowania inicjatyw związanych ze sztuczną inteligencją. Intel Gaudi 2 to dostępne, skalowalne rozwiązanie, które udowodniło swoją zdolność do wygodnego uczenia dużych modeli językowych (LLM) od 70 miliardów do 175 miliardów parametrów. Wkrótce wprowadzony na rynek akcelerator Intel Gaudi 3 zapewni skok wydajności, a także otwartość i wybór korporacyjnej sztucznej inteligencji.
Wyniki MLPerf pokazują, że Gaudi 2 pozostaje jedyną sprawdzoną w teście MLPerf alternatywą dla obliczeń AI dla Nvidii H100. Wyniki testów GPT-3 firmy Intel, przeszkolonych w chmurze Tiber Developer Cloud, w zakresie czasu do pociągu (TTT) wynoszącego 66,9 minuty w systemie AI składającym się z 1024 akceleratorów Gaudi, potwierdzają wysoką wydajność skalowania Gaudi 2 na bardzo dużych LLM w środowisku chmurowym dla programistów.
W pakiecie testów porównawczych zastosowano nowy pomiar: dostrojenie modelu parametrów Llama 2 70B przy użyciu adapterów niskiej rangi (LoRa). Dostrajanie programów LLM jest częstym zadaniem wielu klientów i specjalistów zajmujących się sztuczną inteligencją, co czyni je odpowiednim punktem odniesienia dla codziennych zastosowań. Według zgłoszenia firmy Intel czas potrzebny na uczenie się wyniósł 78,1 minuty na ośmiu akceleratorach Gaudi 2. Do zgłoszenia firma Intel wykorzystała oprogramowanie open source firmy Optimum Habana, wykorzystując Zero-3 firmy DeepSpeed do optymalizacji wydajności pamięci i skalowania podczas uczenia dużych modeli, a także Flash-Attention-2 do przyspieszania mechanizmów uwagi. Grupa zadaniowa ds. testów porównawczych, kierowana przez zespoły inżynierów z laboratoriów Habana Labs i Hugging Face firmy Intel, jest odpowiedzialna za kod referencyjny i zasady testów porównawczych.
Jak Intel Gaudi zapewnia klientom wartość w postaci sztucznej inteligencji: jak dotąd wysokie koszty spowodowały, że zbyt wiele przedsiębiorstw wypadło z rynku. Gaudi zaczyna to zmieniać. Na targach Computex firma Intel ogłosiła, że standardowy zestaw AI obejmujący osiem akceleratorów Intel Gaudi 2 z uniwersalną płytą bazową (UBB) oferowany dostawcom systemów w cenie 65 000 USD szacuje się na jedną trzecią kosztu porównywalnych konkurencyjnych platform. Zestaw zawierający osiem akceleratorów Intel Gaudi 3 z listą UBB kosztuje 125 000 dolarów, co szacuje się na dwie trzecie kosztu porównywalnych konkurencyjnych platform.
Dowód jest wzmożony. Klienci korzystają z produktów Gaudi ze względu na wartość, jaką wnosi w połączeniu z korzyściami w zakresie stosunku ceny do wydajności i dostępnością, w tym:
- Naver, południowokoreański dostawca usług w chmurze i wiodąca wyszukiwarka obsługująca ponad 600 milionów użytkowników, buduje nowy ekosystem sztucznej inteligencji i obniża bariery, aby umożliwić wdrożenie LLM na szeroką skalę, zmniejszając koszty rozwoju i harmonogramy projektów dla swoich klientów.
- AI Szwecja, sojusz pomiędzy szwedzkim rządem a prywatnym przedsiębiorstwem, wykorzystuje Gaudiego do dostrojenia treści miejskich specyficznych dla danej domeny w celu poprawy efektywności operacyjnej i udoskonalenia usług publicznych dla szwedzkich wyborców.
Jak Intel Tiber Developer Cloud wspiera klientów korzystających z Gaudiego: Tiber Developer Cloud zapewnia klientom unikalną, zarządzaną i ekonomiczną platformę do opracowywania i wdrażania modeli, aplikacji i rozwiązań AI – od pojedynczych węzłów po dużą moc obliczeniową na poziomie klastra. Platforma ta zwiększa dostęp do Gaudiego na potrzeby obliczeń AI. W Tiber Developer Cloud firma Intel umożliwia łatwy dostęp do swoich akceleratorów, procesorów CPU, procesorów graficznych, otwartego stosu oprogramowania AI i innych usług. Klient firmy Intel, firma Seekr, wprowadził niedawno nowy produkt SeekrFlow, platformę programistyczną AI dla zaufanej sztucznej inteligencji, aby obsługiwać swoich klientów z chmury programistycznej firmy Intel.
Według CIO.com firma Seekr podała oszczędności od 40% do 400% dzięki Tiber Developer Cloud w przypadku wybranych obciążeń AI w porównaniu z systemami lokalnymi z procesorami graficznymi innego dostawcy i innym dostawcą usług w chmurze, a także o 20% szybsze szkolenie w zakresie sztucznej inteligencji i o 50% szybsze wnioskowanie AI niż lokalnie.
Co dalej: Firma Intel prześle wyniki MLPerf oparte na akceleratorze Intel Gaudi 3 AI w nadchodzącym teście porównawczym wnioskowania. Przewiduje się, że akceleratory Intel Gaudi 3 zapewnią skokowy wzrost wydajności w zakresie szkolenia sztucznej inteligencji i wnioskowania na temat popularnych LLM i modeli multimodalnych. Będą ogólnie dostępne u producentów oryginalnego sprzętu jesienią 2024 r.