„SambaNova Cloud to najszybsza usługa API dla programistów. Dostarczamy światowy rekord prędkości i pełną 16-bitową precyzję – wszystko to dzięki najszybszemu na świecie układowi AI” – powiedział Rodrigo Liang, CEO SambaNova Systems. „SambaNova Cloud dostarcza najdokładniejsze modele open source do ogromnej społeczności programistów z prędkością, jakiej nigdy wcześniej nie doświadczyli”.
W tym roku Meta wprowadziła Llama 3.1 w trzech formatach — 8B, 70B i 405B. Model 405B to klejnot koronny dla deweloperów, oferujący wysoce konkurencyjną alternatywę dla najlepszych modeli o zamkniętym kodzie źródłowym od OpenAI, Anthropic i Google. Modele Llama 3.1 firmy Meta są najpopularniejszymi modelami o otwartym kodzie źródłowym, a Llama 3.1 405B jest najinteligentniejsza, według Meta, oferując elastyczność w sposobie wykorzystania i wdrażania modelu.
Model o najwyższej wierności — SambaNova uruchamia 405B przy 132 T/S
„Konkurenci nie oferują obecnie deweloperom modelu 405B z powodu ich nieefektywnych układów. Dostawcy działający na procesorach graficznych NVIDIA zmniejszają precyzję tego modelu, obniżają jego dokładność i uruchamiają go z nieużytecznie niską prędkością” — kontynuował Liang. „Tylko SambaNova uruchamia 405B — najlepszy stworzony model open-source — z pełną precyzją i 132 tokenami na sekundę”.
Llama 3.1 405B to niezwykle duży model — największy model typu frontier open-weights wydany do tej pory. Rozmiar oznacza, że koszt i złożoność jego wdrożenia są wysokie, a prędkość, z jaką jest obsługiwany, jest wolniejsza w porównaniu z mniejszymi modelami. Chipy SN40L firmy SambaNova zmniejszają ten koszt i złożoność w porównaniu z NVIDIA H100s i zmniejszają kompromis prędkości modelu, ponieważ chipy obsługują go z większą prędkością.
„Przepływy pracy agentów zapewniają doskonałe wyniki dla wielu aplikacji. Ponieważ muszą przetwarzać dużą liczbę tokenów, aby wygenerować wynik końcowy, szybkie generowanie tokenów ma kluczowe znaczenie. Najlepszym otwartym modelem wag jest obecnie Llama 3.1 405B, a SambaNova jest jedynym dostawcą, który uruchamia ten model z precyzją 16-bitową i ponad 100 tokenami na sekundę. To imponujące osiągnięcie techniczne otwiera ekscytujące możliwości dla programistów budujących przy użyciu LLM” — stwierdził dr Andrew Ng, założyciel DeepLearning.AI, zarządzający partner generalny w AI Fund i profesor nadzwyczajny na Wydziale Informatyki Uniwersytetu Stanforda.
Niezależne testy porównawcze klasyfikują SambaNova Cloud jako najszybszą platformę wnioskowania AI
„Artificial Analysis niezależnie przeprowadziło test porównawczy SambaNova, który osiągnął rekordową prędkość 132 tokenów wyjściowych na sekundę w ich punkcie końcowym API w chmurze Llama 3.1 405B. Jest to najszybsza prędkość wyjściowa dostępna dla tego poziomu inteligencji we wszystkich punktach końcowych śledzonych przez Artificial Analysis, przewyższająca prędkość modeli granicznych oferowanych przez OpenAI, Anthropic i Google. Punkty końcowe Llama 3.1 SambaNova będą obsługiwać przypadki użycia AI zależne od prędkości, w tym dla aplikacji wymagających odpowiedzi w czasie rzeczywistym lub wykorzystujących podejścia agentowe do korzystania z modeli językowych” — powiedział George Cameron, współzałożyciel Artificial Analysis.
Pierwsza platforma dla agentowej AI – SambaNova uruchamia Llama 3.1 70B przy 461 T/S
Llama 3.1 70B jest uważana za model o najwyższej wierności dla przypadków użycia AI agenta, które wymagają dużych prędkości i niskich opóźnień. Jej rozmiar sprawia, że nadaje się do dostrajania, tworząc modele eksperckie, które można łączyć w systemach wieloagentowych odpowiednich do rozwiązywania złożonych zadań.
Dzięki SambaNova Cloud deweloperzy mogą uruchamiać modele Llama 3.1 70B z szybkością 461 t/s i budować aplikacje agentowe, które działają z bezprecedensową szybkością.
„Jako czołowy zwolennik interaktywnych rozwiązań Sales Enablement SaaS opartych na sztucznej inteligencji, Bigtincan z radością nawiązuje współpracę z SambaNova. Dzięki imponującej wydajności SambaNova możemy osiągnąć nawet 300% wzrost wydajności w Bigtincan SearchAI, co pozwoli nam uruchamiać najpotężniejsze modele open source, takie jak Llama, we wszystkich konfiguracjach i przepływach pracy AI agentów z niezrównaną szybkością i skutecznością” — powiedział David Keane, dyrektor generalny Bigtincan Solutions, notowanej na giełdzie ASX spółki SaaS.
„Jako wiodąca platforma do tworzenia autonomicznych agentów kodowania, Blackbox AI z radością nawiązuje współpracę z SambaNova. Integrując SambaNova Cloud, przenosimy naszą platformę na wyższy poziom, umożliwiając milionom programistów korzystających dziś z Blackbox AI tworzenie produktów z niespotykaną dotąd prędkością — co jeszcze bardziej umacnia naszą pozycję jako platformy docelowej dla programistów na całym świecie” — stwierdził Robert Rizk, dyrektor generalny Blackbox AI.
„W miarę jak AI przechodzi z imponujących demonstracji do rzeczywistych potrzeb biznesowych, koszty i wydajność są na pierwszym planie” — powiedział Alex Ratner, CEO i współzałożyciel Snorkel AI. „SambaNova Cloud ułatwi i przyspieszy programistom tworzenie z imponującym modelem 405B firmy Llama. Przystępna cenowo, szybka inferencja SambaNova w połączeniu z programowym rozwojem AI zorientowanym na dane firmy Snorkel to fantastyczny model tworzenia sukcesu AI”.
Szybkie API SambaNova szybko zyskało popularność od czasu premiery na początku lipca. Dzięki SambaNova Cloud deweloperzy mogą wprowadzać własne punkty kontrolne, szybko przełączać się między modelami Llama, automatyzować przepływy pracy za pomocą łańcucha monitów AI i wykorzystywać istniejące, dopracowane modele z dużą szybkością wnioskowania. Szybko stanie się rozwiązaniem do wnioskowania dla deweloperów, którzy wymagają mocy 405B, całkowitej elastyczności i szybkości.
Rozwiązanie SambaNova Cloud jest obecnie dostępne w trzech wersjach: bezpłatnej, deweloperskiej i korporacyjnej.
- Bezpłatny poziom (dostępny od dziś): oferuje bezpłatny dostęp do interfejsu API każdemu, kto się zaloguje
- Poziom deweloperski (dostępny do końca 2024 r.): umożliwia deweloperom tworzenie modeli o wyższych limitach szybkości przy użyciu modeli Llama 3.1 8B, 70B i 405B
- Poziom Enterprise (dostępny od dziś): zapewnia klientom korporacyjnym możliwość skalowania z wyższymi limitami szybkości w celu zasilania obciążeń produkcyjnych
Imponująca wydajność SambaNova Cloud jest możliwa dzięki układowi AI SambaNova SN40L. Dzięki unikalnej, opatentowanej konstrukcji przepływu danych i trójwarstwowej architekturze pamięci, SN40L może zasilać modele AI szybciej i wydajniej.