NVIDIA ogłasza współpracę z firmą Anyscale


Rozwój modelu wielkojęzykowego wkrótce osiągnie prędkość ponaddźwiękową dzięki współpracy firm NVIDIA i Anyscale. Na dorocznej konferencji programistów Ray Summit Anyscale — firma stojąca za szybko rozwijającym się ujednoliconym środowiskiem obliczeniowym typu open source dla skalowalnego przetwarzania —ogłoszono dzisiaj że wprowadza sztuczną inteligencję NVIDIA Otwarte źródło Raya i Platforma Anyscale. Zostanie również zintegrowana z nową usługą Anyscale Endpoints ogłoszono dzisiaj ułatwia to twórcom aplikacji ekonomiczne osadzanie LLM w swoich aplikacjach przy użyciu najpopularniejszych modeli open source.

Integracje te mogą radykalnie przyspieszyć rozwój i wydajność generatywnej sztucznej inteligencji, jednocześnie zwiększając bezpieczeństwo produkcyjnej sztucznej inteligencji, od zastrzeżonych LLM po otwarte modele, takie jak Code Llama, Falcon, Llama 2, SDXL i inne. Programiści będą mieli swobodę wdrażania oprogramowania NVIDIA typu open source za pomocą Ray lub zdecydują się na to Przedsiębiorstwo oparte na sztucznej inteligencji NVIDIA oprogramowanie działające na platformie Anyscale zapewniające w pełni obsługiwane i bezpieczne wdrożenie produkcyjne. Ray i platforma Anyscale są szeroko stosowane przez programistów tworzących zaawansowane LLM na potrzeby generatywnych aplikacji AI, które mogą obsługiwać inteligentne chatboty, kodujących drugich pilotów oraz zaawansowane narzędzia do wyszukiwania i podsumowywania.

NVIDIA i Anyscale zapewniają szybkość, oszczędności i wydajność

Aplikacje generatywnej sztucznej inteligencji przyciągają uwagę firm na całym świecie. Dostrajanie, rozszerzanie i prowadzenie LLM wymaga znacznych inwestycji i wiedzy specjalistycznej. Wspólnie NVIDIA i Anyscale mogą pomóc w obniżeniu kosztów i złożoności rozwoju i wdrażania generatywnej sztucznej inteligencji dzięki szeregowi integracji aplikacji.

NVIDIA TensorRT-LLM, nowe oprogramowanie typu open source ogłoszone w zeszłym tygodniu, będzie wspierać ofertę Anyscale, zwiększając wydajność i efektywność LLM, aby zapewnić oszczędności. Obsługiwany również na platformie oprogramowania NVIDIA AI Enterprise, Tensor-RT LLM automatycznie skaluje wnioskowanie, aby uruchamiać modele równolegle na wielu procesorach graficznych, co może zapewnić nawet 8 razy wyższą wydajność przy pracy na procesorach graficznych NVIDIA H100 Tensor Core w porównaniu z procesorami graficznymi poprzedniej generacji.

TensorRT-LLM automatycznie skaluje wnioskowanie, aby uruchamiać modele równolegle na wielu procesorach graficznych i zawiera niestandardowe jądra GPU i optymalizacje dla szerokiej gamy popularnych modeli LLM. Implementuje także nowy format liczbowy 8PR dostępny w formacie NVIDIA H100 Tensor Core GPU Transformer Engine i oferuje łatwy w użyciu i konfigurowalny interfejs Pythona.

Serwer wnioskowania NVIDIA Triton oprogramowanie obsługuje wnioskowanie w chmurze, centrum danych, urządzeniach brzegowych i wbudowanych na procesorach graficznych, procesorach i innych procesorach. Jego integracja może umożliwić programistom Ray zwiększenie wydajności podczas wdrażania modeli AI z wielu platform głębokiego uczenia się i uczenia maszynowego, w tym TensorRT, TensorFlow, PyTorch, ONNX, OpenVINO, Python, RAPIDS XGBoost i innych.

Reklama

Z NVIDIA NeMo framework użytkownicy Ray będą mogli łatwo dostrajać i dostosowywać LLM za pomocą danych biznesowych, torując drogę LLM, które rozumieją unikalne oferty poszczególnych firm.

NeMo to kompleksowa platforma natywna dla chmury, umożliwiająca tworzenie, dostosowywanie i wdrażanie generatywnych modeli sztucznej inteligencji w dowolnym miejscu. Zawiera platformy szkoleniowe i wnioskowania, zestawy narzędzi ochronnych, narzędzia do przechowywania danych i wstępnie wytrenowane modele, oferując przedsiębiorstwom łatwy, opłacalny i szybki sposób na wdrożenie generatywnej sztucznej inteligencji.

Opcje otwartej lub w pełni obsługiwanej produkcyjnej sztucznej inteligencji
Ray open source i platforma Anyscale umożliwiają programistom bezproblemowe przejście od oprogramowania open source do wdrażania produkcyjnej sztucznej inteligencji na dużą skalę w chmurze.

Platforma Anyscale zapewnia w pełni zarządzane, gotowe do zastosowania w przedsiębiorstwie, ujednolicone przetwarzanie, które ułatwia tworzenie, wdrażanie i zarządzanie skalowalnymi aplikacjami AI i Python za pomocą Ray, pomagając klientom szybciej wprowadzać produkty AI na rynek przy znacznie niższych kosztach.

Niezależnie od tego, czy programiści korzystają z oprogramowania Ray typu open source, czy obsługiwanej platformy Anyscale, podstawowa funkcjonalność Anyscale pomaga im łatwo koordynować obciążenia LLM. Integracja NVIDIA AI może pomóc programistom w budowaniu, szkoleniu, dostrajaniu i skalowaniu sztucznej inteligencji z jeszcze większą wydajnością.

Ray i platforma Anyscale korzystają z przyspieszonego przetwarzania z wiodących chmur, z możliwością pracy w trybie hybrydowym lub wielochmurowym. Pomaga to programistom w łatwym skalowaniu, ponieważ potrzebują więcej mocy obliczeniowej, aby zapewnić pomyślne wdrożenie LLM.

Współpraca umożliwi także programistom rozpoczęcie tworzenia modeli na swoich stacjach roboczych Środowisko pracy NVIDIA AI i łatwo je skalować w ramach obliczeń hybrydowych lub akcelerowanych w wielu chmurach, gdy nadejdzie czas przejścia do środowiska produkcyjnego.

Integracje NVIDIA AI z Anyscale są w fazie rozwoju i oczekuje się, że będą dostępne pod koniec roku.

Programiści mogą się zarejestrować, aby otrzymywać najnowsze wiadomości na temat tej integracji, a także bezpłatnie 90-dniowa ocena rozwiązania NVIDIA AI Enterprise.

Aby dowiedzieć się więcej, weź udział w Szczyt Raya w San Francisco w tym tygodniu lub obejrzyj poniższy film demonstracyjny:



Source link

Advertisment

Więcej

ZOSTAW ODPOWIEDŹ

Proszę wpisać swój komentarz!
Proszę podać swoje imię tutaj

Advertisment

Podobne

Advertisment

Najnowsze

Podejrzany o strzelaninę w UnitedHealthcare był byłym stażystą w studiu gier

4 grudnia zamaskowana osoba zastrzeliła na ulicach Manhattanu dyrektora generalnego UnitedHealthcare, Briana Thompsona. W poniedziałek pracownik McDonald's w Pensylwanii zauważył osobę przypominającą strzelca;...

Rynek gier niezależnych Itch.io zostaje zniszczony w wyniku nieoczekiwanego IP Crossfire

Itch.io, popularny, przyjazny deweloperom rynek gier niezależnych, ujawnił, że witryna została usunięta w wyniku pozornie błędnego żądania ochrony adresu IP złożonego przez nikogo...

Gdzie znaleźć Aromalily w Infinity Nikki

Aromalie to kwiaty, które można zbierać Nieskończoność Niki potrzebne do stworzenia kilku ubrań. Chociaż możesz śledzić lokalizacje roślin, które widziałeś w grze, jeśli...
Advertisment