„Ściśle współpracujemy z NVIDIA, aby szybko dostarczać klientom najnowsze i najpotężniejsze rozwiązania do szkolenia modeli AI i serwowania wnioskowania” – powiedział Mike Intrator, dyrektor generalny Coreweave. „Dzięki nowym systemom w skali stojakowej Grace Blackwell, wielu naszych klientów będzie pierwszymi, które zobaczy korzyści i wydajność innowatorów AI działających na dużą skalę”.
Trwa wzrost klientów dostawców chmur, takich jak Coreweave. Systemy zbudowane na Nvidia Grace Blackwell są w pełnej produkcji, przekształcając centra danych w chmurze w fabryki AI, które wytwarzają inteligencję na dużą skalę i przekształcają surowe dane w spostrzeżenia w czasie rzeczywistym z szybkością, dokładnością i wydajnością.
Wiodące firmy AI na całym świecie stawiają teraz możliwości GB200 NVL72 do pracy w zakresie aplikacji AI, Agentic AI i najnowocześniejszych opracowywania modeli.
Spersonalizowani agenci AI
Cohere wykorzystuje swoje Grace Blackwell Superchips, aby pomóc w opracowaniu bezpiecznych aplikacji AI napędzanych przez wiodące badania nad badaniami i modelem. Platforma AI Enterprise, North, umożliwia zespołom budowanie spersonalizowanych agentów AI bezpieczne automatyzację przepływów pracy przedsiębiorstwa, spostrzeżenia w czasie rzeczywistym i nie tylko.
Dzięki NVIDIA GB200 NVL72 na CoreWeave, COHERE ma już do 3x większą wydajność w szkoleniu dla modeli 100 miliardów parametrów w porównaniu z procesorem graficznym Nvidia Hopper z poprzedniej generacji-nawet bez optymalizacji specyficznych dla Blackwell.
Z dalszymi optymalizacjami korzystającymi z dużej pamięci zunifikowanej GB200 NVL72, precyzji FP4 i domeny NVIDIA NVIDIA 72 -GPU NVIDIA – w której każdy GPU jest podłączony do działania w koncercie – córeczka zyskuje znacznie wyższą przepustowość z krótszym czasem do pierwszej i polającej tokenów w celu uzyskania bardziej wydajnych, opłacalnych wniosków.
„Dzięki dostępowi do niektórych z pierwszych systemów NVIDIA GB200 NVL72 w chmurze jesteśmy zadowoleni z tego, jak łatwo nasz port obciążenia do architektury Nvidia Grace Blackwell” – powiedział Autumn Moulder, wiceprezes ds. Inżynierii w Cohere. „To odblokowuje niesamowitą wydajność wydajności na naszym stosie – od naszej pionowo zintegrowanej aplikacji Północnej działającej na pojedynczym procesorze graficznym Blackwell po skalowanie miejsc pracy w tysiącach. Nie możemy się doczekać, aby wkrótce osiągnąć jeszcze większą wydajność dzięki dodatkowym optymalizacjom”.
Modele AI dla przedsiębiorstwa
IBM korzysta z jednego z pierwszych wdrożeń systemów NVIDIA GB200 NVL72, skalując do tysięcy GPU Blackwell na CoreWeave, aby wyszkolić swoje modele granitowe nowej generacji, serię modeli AI gotowych do open source, gotowych do przedsiębiorstwa. Modele granitowe zapewniają najnowocześniejszą wydajność, jednocześnie maksymalizując bezpieczeństwo, szybkość i efektywność kosztów. Rodzina Granite Model jest wspierana przez solidny ekosystem partnerski, który obejmuje wiodące firmy oprogramowania wcielające duże modele językowe w ich technologie.
Modele granitowe stanowią podstawę rozwiązań takich jak IBM Watsonx Orchestrate, która umożliwia przedsiębiorstwom budowanie i wdrażanie potężnych agentów AI, którzy automatyzują i przyspieszają przepływy pracy w całym przedsiębiorstwie.
Wdrożenie NVIDIA GB200 NVL72 Coreweave’a dla IBM wykorzystuje również system skali magazynowej IBM, który zapewnia wyjątkową pamięć o wysokiej wydajności dla sztucznej inteligencji. Klienci CoreWeave mogą uzyskać dostęp do platformy pamięci IBM w dedykowanych środowiskach Coreweave i platformie chmurowej AI.
„Jesteśmy podekscytowani, widząc przyspieszenie, że NVIDIA GB200 NVL72 może wnieść do szkolenia naszej granitowej rodziny modeli” – powiedział Sriram Raghavan, wiceprezes AI w IBM Research. „Ta współpraca z CoreWeave zwiększy możliwości IBM, aby pomóc w budowaniu zaawansowanych, wysokowydajnych i opłacalnych modeli do zasilania aplikacji przedsiębiorstwa i agencji AI z IBM Watsonx”.
Oblicz zasoby na skalę
Mistral AI otrzymuje teraz swoje pierwsze tysiące procesorów graficznych Blackwell, aby zbudować następną generację modeli AI open source.
Mistral AI, lider z Paryża w AI open source, używa infrastruktury Coreweave, wyposażonej obecnie w GB200 NVL72, aby przyspieszyć rozwój swoich modeli językowych. Dzięki modelom takimi jak Mistral, dostarczające silne możliwości rozumowania, Mistral potrzebuje szybkiego obliczania zasobów na dużą skalę.
Aby skutecznie szkolić i wdrażać te modele, Mistral AI wymaga dostawcy chmur, który oferuje duże, wysokowydajne klastry GPU z NVIDIA Quantum Infiniband Networking i niezawodne zarządzanie infrastrukturą. Doświadczenie Coreweave stania procesorów graficznych NVIDIA na dużą skalę z wiodącą w branży niezawodność i odporność poprzez narzędzia takie jak Coreweave Mission Control spełniały te wymagania.
„Zaraz po wyjęciu z pudełka i bez dalszych optymalizacji, zauważyliśmy 2 -krotną poprawę wydajności w zakresie gęstego treningu modelowego” – powiedział Thimothee Lacroix, współzałożyciel i dyrektor ds. Technologii w Mistral AI. „To, co ekscytujące w NVIDIA GB200 NVL72 to nowe możliwości, które otwiera dla rozwoju i wnioskowania modelu”.
Rosnąca liczba instancji Blackwell
Oprócz długoterminowych rozwiązań klientów, CoreWeave oferuje instancje z NVIDIA NVLINK w skali stojaka przez 72 Nvidia Blackwell GPU i 36 procesorów NVIDIA Grace, skalowanie do 110 000 GPU z NVIDIA Quantum-2 Infiniband Networking.
Instancje te, przyspieszone przez platformę komputerową w skali stojakowej NVIDIA GB200 NVL72, zapewniają skalę i wydajność potrzebną do budowy i wdrożenia następnej generacji modeli i agentów rozumowania AI.