Większość organizacji nigdy nie przeszkoli własnych modeli sztucznej inteligencji. Zamiast tego, większość kluczowych wyzwań klientów związanych ze sztuczną inteligencją polega na zastosowaniu jej w aplikacjach produkcyjnych i wnioskowaniu, przy czym głównymi zadaniami są dostrajanie i sprawdzanie danych.
Kluczem tutaj jest użycie pokolenie rozszerzone wyszukiwania (RAG) i wektorowe bazy danychmożliwość ponownego wykorzystania podpowiedzi AI oraz możliwości drugiego pilota, które pozwalają użytkownikom kwestionować informacje korporacyjne w języku naturalnym.
Takie są opinie dyrektorów Pure Storage, którzy rozmawiali z Computerweekly.com w tym tygodniu podczas wydarzenia firmowego Accelerate w Londynie.
Naturalnie zidentyfikowane kluczowe zadania dobrze wpisują się w obszary funkcjonalności dodane niedawno do oferty sprzętu pamięci masowej Pure – w tym do niedawno wprowadzonej na rynek Wartość klucza Akcelerator – a także jego zdolność do zapewnienia pojemność na żądanie.
Ale ilustrują także kluczowe wyzwania stojące przed organizacjami zajmującymi się sztuczną inteligencją na tym etapie jej dojrzałości, który został nazwany „fazą poszkoleniową”.
W tym artykule przyjrzymy się, czego potrzebują klienci przechowywanie w AI na etapach produkcjioraz przy ciągłym przetwarzaniu danych i wyciąganiu wniosków.
Nie kupuj procesorów graficznych; zmieniają się zbyt szybko
Większość organizacji nie będzie szkolić własnych modeli sztucznej inteligencji, ponieważ jest to obecnie po prostu zbyt drogie. To dlatego Sprzęt graficzny jest niezwykle kosztowny w zakupie, a także dlatego, że rozwija się w tak szybkim tempie, że jego starzenie się następuje bardzo szybko.
Dlatego większość organizacji ma obecnie tendencję do kupowania pojemności procesora graficznego w chmurze na potrzeby faz szkoleniowych.
Nie ma sensu budować wewnętrznych farm szkoleniowych AI, gdy sprzęt GPU może stać się przestarzały w ciągu pokolenia lub dwóch.
Takie jest zdanie założyciela Pure Storage i głównego wizjonera, Johna „Coza” Colgrove’a.
„Większość organizacji mówi: «Och, chcę kupić ten sprzęt, będzie mi służył przez pięć lat, a następnie amortyzuję go przez pięć lub siedem lat» – powiedział. „Ale w tej chwili nie można tego zrobić z procesorami graficznymi.
“Myślę, że kiedy sytuacja poprawia się w fantastycznym tempie, lepiej będzie skorzystać z leasingu niż zakupu. To tak, jak z kupnem samochodu” – powiedział Colgrove. „Jeśli zamierzasz go trzymać przez sześć, siedem, osiem lat lub dłużej, kupujesz go, ale jeśli masz zamiar go trzymać przez dwa lata i zmienić na nowszy, wynajmujesz go”.
Znajdź aplikację AI Killer
W przypadku większości organizacji praktyczne wykorzystanie sztucznej inteligencji nie nastąpi na etapie modelowania. Zamiast tego będą mogli go użyć do stworzenia zabójczej aplikacji dla swojej firmy.
Colgrove podaje przykład banku. „W przypadku banku wiemy, że zabójcza aplikacja będzie czymś, z czym zmierzy się klient” – powiedział. “Ale jak teraz działa sztuczna inteligencja? Wyciągam wszystkie dane z baz danych, które mam do interakcji z klientem. Wsysam je do innego systemu. Transformuję to jak stary proces wsadowy ETL, spędzam tygodnie na szkoleniu i wtedy otrzymuję wynik.
„To nigdy nie będzie zabójcza aplikacja” – powiedział Colgrove. „Zabójcza aplikacja będzie wymagała pewnego rodzaju wnioskowania, które ja potrafię. Ale to wnioskowanie będzie musiało zostać zastosowane w zwykłych systemach, jeśli będzie skierowane do klienta.
„Oznacza to, że jeśli rzeczywiście zastosujesz sztuczną inteligencję, aby uzyskać z niej wartość, będziesz chciał zastosować ją do danych, które już posiadasz, i rzeczy, które już robisz ze swoimi klientami”.
Innymi słowy, dla większości klientów wyzwania związane ze sztuczną inteligencją leżą w fazie produkcyjnej, a dokładniej w możliwości (szybkiego) przeglądania i dodawania danych oraz wyciągania na ich podstawie wniosków w celu dostrojenia istniejących modeli sztucznej inteligencji. A potem móc zrobić to wszystko jeszcze raz, kiedy będziesz miał kolejny pomysł, jak jeszcze bardziej ulepszyć sytuację.
Fred Lherault, dyrektor ds. technologii w Pure Storage EMEA, podsumował to w ten sposób: “A więc tak naprawdę chodzi o to, jak połączyć modele z moimi danymi? Co przede wszystkim oznacza, czy zrobiłem odpowiedni poziom w zakresie ustalenia, czym są moje dane, ich selekcji, przygotowania ich do sztucznej inteligencji i wprowadzenia ich do architektury umożliwiającej modelowi dostęp do nich?”
Kluczowe podstawy technologiczne zwinnej sztucznej inteligencji
Dlatego też faza wnioskowania stała się głównym przedmiotem zainteresowania większości klientów zajmujących się sztuczną inteligencją. W tym przypadku wyzwaniem jest możliwość selekcji danych i zarządzania nimi w celu tworzenia i powtarzania modeli AI w trakcie ich okresu produkcyjnego. Oznacza to, że klienci łączą się z własnymi danymi w elastyczny sposób.
Oznacza to wykorzystanie technologii obejmujących wektorowe bazy danych, potoki RAG, funkcję drugiego pilota oraz szybkie buforowanie i ponowne wykorzystanie.
Kluczowe wyzwania związane z magazynowaniem są dwojakie. Oznacza to możliwość podłączenia się np. do źródeł danych RAG i wektorowych baz danych. Oznacza to także możliwość obsługi dużych skoków pojemności magazynu i ograniczenie takiej potrzeby. Jedno i drugie jest często powiązane.
„Interesująca rzecz dzieje się, gdy umieścisz dane w wektorowych bazach danych” – powiedział Lherault. “Wymagane są pewne obliczenia, ale potem dane są powiększane o wektory, które można następnie przeszukiwać. Taki jest cały cel bazy danych wektorów, a to powiększanie może czasami skutkować 10-krotnym wzmocnieniem danych.
„Jeśli masz terabajt danych źródłowych, które chcesz wykorzystać w modelu sztucznej inteligencji, oznacza to, że do jego uruchomienia będziesz potrzebować bazy danych o pojemności 10 TB” – powiedział. „Cały ten proces jest nowością dla wielu organizacji, które chcą wykorzystywać swoje dane w modelach sztucznej inteligencji”.
Radź sobie z wymaganiami dotyczącymi pojemności pamięci masowej
Takie skoki wydajności mogą również wystąpić podczas zadań takich jak punkty kontrolne, w ramach których powstają ogromne ilości danych w postaci punktów przypominających migawki, do których można je przywrócić w procesie przetwarzania AI.
Pure stara się stawić czoła tym problemom za pomocą modelu Evergreen jako usługi, który umożliwia klientom szybkie zwiększanie wydajności.
Firma sugeruje również sposoby zapobiegania zbyt szybkiemu wzrostowi wolumenu pamięci i zwiększeniu wydajności.
Niedawno wprowadzony program Key Value Accelerator umożliwia klientom przechowywanie podpowiedzi AI, dzięki czemu można je ponownie wykorzystać. Zwykle LLM miałby dostęp do buforowanych tokenów reprezentujących poprzednie odpowiedzi, ale pamięć podręczna GPU jest ograniczona, więc odpowiedzi często wymagają ponownego obliczenia. Akcelerator KV firmy Pure umożliwia przechowywanie tokenów w formacie pliku lub obiektu.
Może to przyspieszyć reakcję nawet 20-krotnie, powiedział Lherault. „Im więcej użytkowników będzie zadawało różne pytania, tym szybciej skończy się pamięć podręczna” – dodał. „Jeśli dwóch użytkowników zadaje to samo pytanie w tym samym czasie i robi to na dwóch procesorach graficznych, obaj muszą wykonać te same obliczenia. Nie jest to zbyt wydajne.
„Pozwalamy mu faktycznie przechowywać te wstępnie obliczone wartości kluczy w naszej pamięci, więc następnym razem, gdy ktoś zada pytanie, które zostało już zadane lub potrzebuje tego samego tokena, jeśli mamy go po naszej stronie, procesor graficzny nie musi wykonywać obliczeń” – powiedział Lherault.
„Pomaga zmniejszyć liczbę potrzebnych procesorów graficznych, ale w przypadku niektórych złożonych pytań, które generują tysiące tokenów, czasami widzieliśmy, że odpowiedź przychodzi 20 razy szybciej”.