Podcast: Pamięć masowa dla sztucznej inteligencji wymaga skali, chmury hybrydowej i wielu integracji

W tym podcaście przyglądamy się sztucznej inteligencji (AI) i przechowywaniu danych wraz z Grantem Caleyem, dyrektorem ds. rozwiązań NetApp w Wielkiej Brytanii i Irlandii.

Mówi o potrzebie skalowalności i wydajności pamięci masowej, a także o konieczności korzystania z chmury hybrydowej, dostępu do wszystkich trzech hiperskalerów oraz możliwości przenoszenia, kopiowania i klonowania danych w celu uporządkowania ich przed przeprowadzeniem wnioskowania.

Caley mówi także o znaczeniu integracji interfejsu programowania aplikacji (API), standaryzowanej warstwy danych, którą można połączyć z Kubernetesem, integracji z Pythonem, platform przepływu pracy, takich jak Kafka, oraz mikrousług i frameworków Nvidia, takich jak NIM i NEMO.

Antony Adhead: Z punktu widzenia przechowywania danych, czym różnią się obciążenia AI?

Grant Caley’a: Tradycyjne obciążenia korporacyjne są dość dobrze zdefiniowane pod względem charakterystyki tego obciążenia i wymagań dla tego obciążenia.

W przypadku AI jest zupełnie inaczej. Sztuczna inteligencja jest początkowo bardzo mała pod względem rozwoju, ale może szybko skalować się do wielopetabajtowych instalacji produkcyjnych, które obejmują nie tylko lokalnie, ale także chmurę.

Gdy spojrzysz na to z perspektywy obciążenia pracą AI, jest to niemal zupełnie inne niż rodzaj wyizolowanej, skoncentrowanej aplikacji korporacyjnej. Oznacza to, że musisz radzić sobie z różnymi wymaganiami dotyczącymi wydajności. Pojemność, którą musisz hostować dla AI z perspektywy danych, waha się od zaledwie gigabajtów do petabajtów danych, co wiąże się z własnymi wyzwaniami.

Z perspektywy obciążenia sztuczną inteligencją często trzeba kombinować z dużymi zbiorami danych, przenosić je, klonować, kopiować, przygotowywać do czyszczenia i wprowadzania danych, a następnie używać ich do wnioskowania.

Jest wiele wysokich wymagań konserwacyjnych, które dotyczą również wymagań związanych ze sztuczną inteligencją. Innym ciekawym faktem jest to, że teraz widzimy, że sztuczna inteligencja nie jest tylko grą lokalną. To AWS [Amazon Web Services]Azure i Google Play.

Klienci rozwijają i wykorzystują wszystkie te środowiska, a także swoje centra danych, do dostarczania sztucznej inteligencji. Z tego, co widzieliśmy ostatnio, sztuczna inteligencja staje się własnością intelektualną firmy, danymi, które wykorzystuje i wytwarzanymi wynikami. Bezpieczeństwo tych danych ma kluczowe znaczenie, ponieważ możliwość ich udokumentowania, sprawdzenia i wersjonowania wynika z niektórych przepisów dotyczących sztucznej inteligencji.

Wszystko to ma ogromny wpływ na to, jak musimy to leczyć. I ostatecznie, jeśli spojrzysz ogólnie na sztuczną inteligencję w porównaniu z jakimkolwiek obciążeniem pracą w przedsiębiorstwie, rzeczywisty przepływ pracy jest naprawdę złożony i musisz w pewnym sensie uwzględnić to w sposobie dostarczania sztucznej inteligencji. Dzieje się zatem wiele rzeczy różniących się obciążeniami w kontekście sztucznej inteligencji.

Czego potrzebuje pamięć masowa, aby sprostać obciążeniom związanym ze sztuczną inteligencją?

Caley: To trochę nawiązuje do ostatniej odpowiedzi, którą podałem. Kiedy klienci zaczynają rozwijać AI, często zaczynają w chmurze, ponieważ zestawy narzędzi są tam – platformy – nie muszą wydawać dużo pieniędzy na tworzenie środowisk. Więc musisz być w stanie wykorzystać chmurę.

Ale równie wielu klientów robi to lokalnie. Budują małe GPU [graphics processing unit] platformy serwerowe, rozwijają się w większe konfiguracje DGX lub Nvidia SuperPods i tego typu.

Kluczem pod tym wszystkim z perspektywy pamięci masowej są dane, które napędzają wyniki, które próbują osiągnąć. Niezależnie od tego, czy są to wczesne etapy rozwoju w chmurze, czy przejście do pierwszego etapu produkcji na miejscu, w jaki sposób wypychają dane do wnioskowania tam, gdzie są faktycznie potrzebne.

Mogą to być małe fabryki, odległe miejsca, cokolwiek by to nie było. Zatem mobilność danych z warstwy przechowywania jest w rzeczywistości kluczowa, a to oznacza, że ​​nie trzeba budować silosów pamięci masowej dla każdego z tych przypadków użycia.

Trzeba naprawdę starać się objąć te przypadki użycia i dostarczyć coś, co zapewni mobilność danych. Kiedyś mówiliśmy o dostarczaniu struktury danych, ale to właśnie ten rodzaj łączności jest naprawdę ważny.

Myślę, że inną kwestią w przypadku sztucznej inteligencji jest to, że początkowo jej wydajność jest niska, gdy przeprowadza się pierwsze, wstępne etapy szkolenia, ale z czasem może się to zmienić.

Wydajność jest więc ważnym czynnikiem. Musisz wiedzieć, że pamięć masowa może spełnić wymagania od małych do wymagań produkcyjnych i skalowalnych. I wiele firm zapomina o tym, gdy przechodzą do produkcji. Stworzyły te silosy różnych typów pamięci masowej, nie zdając sobie sprawy, że ostatecznie w pewnym momencie będą musiały je znacznie skalować.

Skala to kolejny czynnik, który musi zapewniać pamięć masowa. Jak powiedziałem, na początku mogły to być gigabajty, ale szybko mogą one stać się petabajtami, szczególnie gdy firmy łączą zbiory danych, aby zmaksymalizować wartość szkolenia i możliwe do osiągnięcia wyniki.

Ale oczywiście dane to adres IP firmy.

Trzeba to wdrożyć w infrastrukturze pamięci masowej, która umożliwia administrowanie w oparciu o zasadę zerowego zaufania. [So] To [it] zapewnia szyfrowanie danych, które może zapewnić – jeśli stosujesz wersjonowanie i opierasz się na dowodach [work] – wyniki te są niezmienne lub nieusuwalne, dzięki czemu można potencjalnie udowodnić, że dane były takie, jakie były, i etapy, przez które przechodziły.

Jest wiele rzeczy, które musisz zrobić. Myślę, że ostatnią rzeczą, jaką musi zapewnić przechowywanie danych, jest możliwość zapewnienia integracji ze wszystkimi narzędziami, których chce używać klient.

Przyglądają się obciążeniom Kubernetes i dostarczają je za pośrednictwem Kubernetes. Zastanawiają się nad wykorzystaniem różnych platform lokalnie w chmurze. Jeśli warstwa pamięci masowej ma zapewniać rzeczywistą wartość, musi umożliwiać integrację interfejsu API ze wszystkimi różnymi środowiskami, aby zmaksymalizować możliwości, jakie można zapewnić z samej warstwy pamięci masowej.