Integracje te mogą radykalnie przyspieszyć rozwój i wydajność generatywnej sztucznej inteligencji, jednocześnie zwiększając bezpieczeństwo produkcyjnej sztucznej inteligencji, od zastrzeżonych LLM po otwarte modele, takie jak Code Llama, Falcon, Llama 2, SDXL i inne. Programiści będą mieli swobodę wdrażania oprogramowania NVIDIA typu open source za pomocą Ray lub zdecydują się na to Przedsiębiorstwo oparte na sztucznej inteligencji NVIDIA oprogramowanie działające na platformie Anyscale zapewniające w pełni obsługiwane i bezpieczne wdrożenie produkcyjne. Ray i platforma Anyscale są szeroko stosowane przez programistów tworzących zaawansowane LLM na potrzeby generatywnych aplikacji AI, które mogą obsługiwać inteligentne chatboty, kodujących drugich pilotów oraz zaawansowane narzędzia do wyszukiwania i podsumowywania.
NVIDIA i Anyscale zapewniają szybkość, oszczędności i wydajność
Aplikacje generatywnej sztucznej inteligencji przyciągają uwagę firm na całym świecie. Dostrajanie, rozszerzanie i prowadzenie LLM wymaga znacznych inwestycji i wiedzy specjalistycznej. Wspólnie NVIDIA i Anyscale mogą pomóc w obniżeniu kosztów i złożoności rozwoju i wdrażania generatywnej sztucznej inteligencji dzięki szeregowi integracji aplikacji.
NVIDIA TensorRT-LLM, nowe oprogramowanie typu open source ogłoszone w zeszłym tygodniu, będzie wspierać ofertę Anyscale, zwiększając wydajność i efektywność LLM, aby zapewnić oszczędności. Obsługiwany również na platformie oprogramowania NVIDIA AI Enterprise, Tensor-RT LLM automatycznie skaluje wnioskowanie, aby uruchamiać modele równolegle na wielu procesorach graficznych, co może zapewnić nawet 8 razy wyższą wydajność przy pracy na procesorach graficznych NVIDIA H100 Tensor Core w porównaniu z procesorami graficznymi poprzedniej generacji.
TensorRT-LLM automatycznie skaluje wnioskowanie, aby uruchamiać modele równolegle na wielu procesorach graficznych i zawiera niestandardowe jądra GPU i optymalizacje dla szerokiej gamy popularnych modeli LLM. Implementuje także nowy format liczbowy 8PR dostępny w formacie NVIDIA H100 Tensor Core GPU Transformer Engine i oferuje łatwy w użyciu i konfigurowalny interfejs Pythona.
Serwer wnioskowania NVIDIA Triton oprogramowanie obsługuje wnioskowanie w chmurze, centrum danych, urządzeniach brzegowych i wbudowanych na procesorach graficznych, procesorach i innych procesorach. Jego integracja może umożliwić programistom Ray zwiększenie wydajności podczas wdrażania modeli AI z wielu platform głębokiego uczenia się i uczenia maszynowego, w tym TensorRT, TensorFlow, PyTorch, ONNX, OpenVINO, Python, RAPIDS XGBoost i innych.
Z NVIDIA NeMo framework użytkownicy Ray będą mogli łatwo dostrajać i dostosowywać LLM za pomocą danych biznesowych, torując drogę LLM, które rozumieją unikalne oferty poszczególnych firm.
NeMo to kompleksowa platforma natywna dla chmury, umożliwiająca tworzenie, dostosowywanie i wdrażanie generatywnych modeli sztucznej inteligencji w dowolnym miejscu. Zawiera platformy szkoleniowe i wnioskowania, zestawy narzędzi ochronnych, narzędzia do przechowywania danych i wstępnie wytrenowane modele, oferując przedsiębiorstwom łatwy, opłacalny i szybki sposób na wdrożenie generatywnej sztucznej inteligencji.
Opcje otwartej lub w pełni obsługiwanej produkcyjnej sztucznej inteligencji
Ray open source i platforma Anyscale umożliwiają programistom bezproblemowe przejście od oprogramowania open source do wdrażania produkcyjnej sztucznej inteligencji na dużą skalę w chmurze.
Platforma Anyscale zapewnia w pełni zarządzane, gotowe do zastosowania w przedsiębiorstwie, ujednolicone przetwarzanie, które ułatwia tworzenie, wdrażanie i zarządzanie skalowalnymi aplikacjami AI i Python za pomocą Ray, pomagając klientom szybciej wprowadzać produkty AI na rynek przy znacznie niższych kosztach.
Niezależnie od tego, czy programiści korzystają z oprogramowania Ray typu open source, czy obsługiwanej platformy Anyscale, podstawowa funkcjonalność Anyscale pomaga im łatwo koordynować obciążenia LLM. Integracja NVIDIA AI może pomóc programistom w budowaniu, szkoleniu, dostrajaniu i skalowaniu sztucznej inteligencji z jeszcze większą wydajnością.
Ray i platforma Anyscale korzystają z przyspieszonego przetwarzania z wiodących chmur, z możliwością pracy w trybie hybrydowym lub wielochmurowym. Pomaga to programistom w łatwym skalowaniu, ponieważ potrzebują więcej mocy obliczeniowej, aby zapewnić pomyślne wdrożenie LLM.
Współpraca umożliwi także programistom rozpoczęcie tworzenia modeli na swoich stacjach roboczych Środowisko pracy NVIDIA AI i łatwo je skalować w ramach obliczeń hybrydowych lub akcelerowanych w wielu chmurach, gdy nadejdzie czas przejścia do środowiska produkcyjnego.
Integracje NVIDIA AI z Anyscale są w fazie rozwoju i oczekuje się, że będą dostępne pod koniec roku.
Programiści mogą się zarejestrować, aby otrzymywać najnowsze wiadomości na temat tej integracji, a także bezpłatnie 90-dniowa ocena rozwiązania NVIDIA AI Enterprise.
Aby dowiedzieć się więcej, weź udział w Szczyt Raya w San Francisco w tym tygodniu lub obejrzyj poniższy film demonstracyjny:
