Jeśli nie jesteś księgowym, całe rozliczanie podatku na koniec roku może być koszmarem. Chociaż możesz wyczekiwać swojego zwrotu, prawdopodobnie nie jesteś zbyt podekscytowany wydawaniem pieniędzy na eksperta podatkowego lub spędzaniem kilku godzin na samodzielnym rozliczaniu. Ale co, gdyby cały proces można było wykonać za pomocą cyfrowego asystenta na smartfonie? Oszczędności czasu i kosztów dzięki takiej aplikacji zwiększającej produktywność byłyby znaczne. To potencjalna moc sztucznej inteligencji (AI) na urządzeniu.
Przykład zeznania podatkowego to tylko jeden z wielu sposobów, w jaki sztuczna inteligencja na urządzeniu może zaoszczędzić konsumentom i przedsiębiorstwom czas i pieniądze. Od optymalizacji inteligentnych urządzeń domowych po automatyczne sporządzanie umów z klientami, generatywna sztuczna inteligencja na urządzeniu — i aplikacje zwiększające produktywność, które może umożliwić — są kluczem do otwarcia ekscytującej nowej epoki na rynkach smartfonów i komputerów.
Obciążenia AI spadające z chmury
Sztuczna inteligencja dla urządzeń osobistych i służbowych nie jest nowym konceptem, jednak zdecydowana większość aplikacji działa w chmurze. Podczas gdy korzystanie z chmury jest świetne pod względem pojemności zasobów i pamięci masowej, model AI zorientowany na chmurę cierpi z powodu wyzwań technicznych, takich jak wysokie opóźnienia i przeciążenie sieci. W rezultacie doświadczenie użytkownika w przypadku wielu aplikacji AI opartych na chmurze nie spełnia oczekiwań klientów.
Aby zaradzić tym wyzwaniom technicznym, producenci smartfonów zaczynają osadzać akceleratory AI w urządzeniach high-end, aby obsługiwać lokalne wnioskowanie AI. Jednak aplikacje AI na urządzeniach ograniczały się głównie do sterowania głosem, obrazowania wspomaganego przez AI i innych aplikacji „skupionych na doświadczeniu”. Odblokowanie wartości sztucznej inteligencji na urządzeniu wymaga opracowania szerokiej gamy aplikacji AI zwiększających produktywność, dostosowanych do konkretnych przypadków użycia, przy użyciu skompresowanych generatywnych modeli AI.
Wartość sztucznej inteligencji na urządzeniu
ChatGPT zapoczątkował ogromny cykl szumu wokół generatywnej AI wśród konsumentów i przedsiębiorstw, co doprowadziło do testowania i wdrażania na różnych rynkach. Ponieważ większość tych modeli AI jest wdrażana w chmurze publicznej, użytkownicy doświadczają przeciążenia sieci, problemów z prywatnością danych i rosnących rachunków za chmurę w wyniku rozszerzania się baz użytkowników. Natomiast lokalne obciążenia AI — obsługiwane przez AI na urządzeniu — poprawiają wrażenia użytkownika, eliminując opóźnienia sieciowe, zmniejszając różne wydatki, wspierając przyszłe możliwości AI i wzmacniając bezpieczeństwo danych. Korzyści te są wyjaśnione bardziej szczegółowo poniżej.
- Większe opóźnienia w sieci: aplikacje AI, takie jak asystenci cyfrowi i korporacyjna rzeczywistość rozszerzona (XR), wymagają małych opóźnień, aby zapewnić możliwie najbardziej naturalną, spersonalizowaną i wciągającą interakcję. Wprowadzenie wnioskowania AI do urządzenia eliminuje ryzyko opóźnień w sieci, umożliwiając twórcom oprogramowania tworzenie szerszej gamy aplikacji zwiększających produktywność dla aplikacji „o znaczeniu krytycznym”, co byłoby niemożliwe w przypadku architektury AI skoncentrowanej na chmurze.
- Oszczędności kosztów: w miarę ciągłego wzrostu liczby wdrożeń sztucznej inteligencji popyt na sieci i hosting w chmurze będzie jeszcze bardziej zwiększał koszty dla twórców aplikacji i przedsiębiorstw. Lokalne przetwarzanie AI eliminuje wiele z tych kosztów, a także zmniejsza zużycie energii przez centrum danych. Narzędzia optymalizacyjne, takie jak kompresja i kwantyzacja, odegrają kluczową rolę w umożliwieniu generatywnej sztucznej inteligencji na urządzeniach poprzez opracowanie dokładnych modeli sztucznej inteligencji o niskim zużyciu energii i mniej niż 15 miliardach parametrów.
- Wsparcie dla przyszłych możliwości AI: Nikt nie chce inwestować w urządzenie, które stanie się przestarzałe za rok lub dwa. Akceleratory AI na urządzeniu można zoptymalizować, aby obsługiwały generatywne modele AI i aplikacje, które jeszcze nie trafiły na rynek. Z kolei właściciele smartfonów i komputerów maksymalizują zwrot z inwestycji (ROI).
- Zwiększone bezpieczeństwo danych: chociaż dostawcy usług chmury publicznej wdrażają zabezpieczenia, nie są one kuloodporne, o czym świadczą naruszenia w chmurze w kilku organizacjach w ostatnich latach. Sztuczna inteligencja na urządzeniu przechowuje dane użytkownika i dane z czujników lokalnie, minimalizując ryzyko naruszenia bezpieczeństwa danych osobowych lub własności intelektualnej (IP). Warto również zauważyć, że modele AI na urządzeniach charakteryzujące się niskimi opóźnieniami usprawniają wykrywanie zagrożeń i inne funkcje cyberbezpieczeństwa.
- Personalizacja modelu: Podczas gdy modele AI mogą być personalizowane w chmurze publicznej, jest to sprzeczne z wymaganiami użytkowników końcowych dotyczącymi większej prywatności danych i optymalizacji kosztów. Przetwarzanie na urządzeniu umożliwia lokalne dostrajanie modeli AI do preferencji, zachowań i aplikacji użytkowników końcowych. Jest to szczególnie cenne, ponieważ umożliwia wydajną personalizację modeli AI przy użyciu różnych źródeł przychodzących danych czujników/użytkowników, w tym Wi-Fi, GPS i danych czujników. Ma to znaczące korzyści, w tym zwiększoną produktywność AI, lepszą dostępność oraz bardziej intuicyjne i zautomatyzowane interakcje/doświadczenia.
Dzięki sztucznej inteligencji na urządzeniach konsumenci są bardziej produktywni
Konsumenci ulepszają swoje smartfony wolniej niż w latach ubiegłych. Być może rynek osiągnął punkt malejących zysków. Na przykład wydaje się, że każda nowa wersja smartfona ma niewielką lub żadną dodatkową wartość w porównaniu do swojego poprzednika. ABI Research uważa, że popyt konsumentów na smartfony i tablety można stymulować poprzez połączenie sztucznej inteligencji na urządzeniu i aplikacji AI ukierunkowanych na produktywność.
Jeśli producenci urządzeń wykażą wymierny zwrot z inwestycji (oszczędność kosztów i czasu) dzięki aplikacjom AI na urządzeniach, konsumenci będą zachęcani do częstszego aktualizowania swoich urządzeń. Niezależnie od tego, czy chodzi o oszczędność czasu wynikającą z automatycznego planowania spotkań rodzinnych, czy też oszczędności w kosztach mediów wynikające z zoptymalizowanego zużycia energii, konsumenci będą mieli nowy powód do zakupu nowszych modeli smartfonów. Co więcej, aplikacje AI zwiększające produktywność mogą potencjalnie pomóc artyście lub producentowi wcielić w życie kreatywny pomysł.
Uosabiając trajektorię rynku, Qualcomm i Samsung nawiązały niedawno współpracę w celu wspierania funkcji mobilnej sztucznej inteligencji w serii Galaxy S24. Aplikacje zwiększające produktywność AI nie tylko zmniejszą częstotliwość odświeżania urządzeń, ale nowy sprzęt usprawiedliwi producentów urządzeń, takich jak Samsung, podniesienie cen detalicznych swoich produktów.
W jaki sposób przedsiębiorstwa mogą wykorzystać sztuczną inteligencję na urządzeniach
Podobnie jest na rynku przedsiębiorstw, gdzie brak innowacji w zakresie urządzeń spowodował stagnację wzrostu dostaw komputerów stacjonarnych i laptopów. Wdrożenie sztucznej inteligencji natywnie na tych urządzeniach przyciągnie przedsiębiorstwa ze względu na wartość generowaną z produktywności offline, niższe opóźnienia, zwiększoną prywatność danych, ulepszoną komunikację użytkownik-urządzenie i personalizację modelu. Produktywność na urządzeniu AI oszczędza firmom czas i pieniądze, automatyzując zadania administracyjne (np. planowanie, sporządzanie umów, robienie notatek itp.) i umożliwiając użytkownikom produktywność nawet wtedy, gdy ich urządzenie jest offline. Przedsiębiorstwa, które wykorzystują te nowatorskie generatywne aplikacje AI, mogą zaoszczędzić tysiące dolarów rocznie na każdym pracowniku i umożliwić pracownikom korzystanie z generatywnych aplikacji opartych na AI, takich jak Microsoft Copilot, w podróży (np. w podróży do siedziby klienta).
Badania ABI wykazały, że najwcześniejsze wdrożenia sztucznej inteligencji na urządzeniach w przedsiębiorstwach miały miejsce w sektorach operacji zaplecza, biur i usług profesjonalnych, ponieważ wczesne aplikacje (np. Microsoft Copilot) oferują wyraźny zwrot z inwestycji. Jednak w miarę dojrzewania sztucznej inteligencji na urządzeniach wraz z aplikacjami zwiększającymi produktywność oraz obsługą różnych formatów można spodziewać się wzrostu popularności rozwiązań w innych branżach, takich jak produkcja, opieka zdrowotna, logistyka i transport oraz telekomunikacja.
Podczas gdy smartfony i komputery PC stanowią lwią część dyskusji na temat sztucznej inteligencji na urządzeniach w przedsiębiorstwach, te same korzyści można zastosować w przestrzeniach motoryzacyjnych, XR i Internetu rzeczy (IoT)/urządzeń do noszenia. Rzeczywiście zmniejszone opóźnienia zwiększają możliwości cyfrowych asystentów w pojazdach, a prywatność danych chroni wrażliwe dane pacjentów lub producentów, jednocześnie eliminując koszty przetwarzania w chmurze. Co więcej, firmy wydobywcze i logistyczne docenią wysoką niezawodność sztucznej inteligencji na urządzeniach podczas korzystania z urządzeń XR i IoT w odległych obszarach narażonych na przerwy w sieci. Podobnie jak w segmencie konsumenckim, oczekuje się, że sprzęt AI na urządzeniach z odpowiednimi aplikacjami AI zwiększający produktywność zmniejszy częstotliwość odświeżania urządzeń wśród przedsiębiorstw poszukujących kolejnej „zabójczej aplikacji”.
Przyszłość sztucznej inteligencji na urządzeniach
Fala najnowszych trendów stała się integralną częścią wspierania sztucznej inteligencji na urządzeniach. Heterogeniczne chipsety, takie jak Qualcomm Snapdragon X Elite do komputerów PC, konsolidują jednostkę przetwarzania grafiki (GPU), jednostkę centralną (CPU) i jednostkę przetwarzania neuronowego (NPU) w jeden system-on-chip (SoC). Dzięki temu obciążenie AI działa wydajniej i poprawia wydajność aplikacji. Poza tym duży nacisk położono na budowanie wysoce zoptymalizowanych, gotowych do obsługi urządzeń małych generatywnych modeli sztucznej inteligencji, które byłyby w stanie dorównać dokładnością, wydajnością i wiedzą znacznie większym modelom bez wysokich wymagań dotyczących zasilania, pamięci i obliczeń. Tę innowację w zakresie oprogramowania uzupełniono zwiększoną współpracą między kluczowymi interesariuszami, aby połączyć niskie bariery wejścia (za pośrednictwem zestawów programistycznych (SDK), takich jak Qualcomm AI Stack i platformy bez kodu/o niskim kodzie) i przyspieszyć rozwój aplikacji AI zwiększających produktywność.
Los rynku sztucznej inteligencji na urządzeniach spoczywa na barkach trzech kluczowych interesariuszy:
- Niezależni dostawcy oprogramowania (ISV) wykorzystują dostępne modele i narzędzia AI do tworzenia aplikacji AI zoptymalizowanych pod kątem podstawowego sprzętu.
- Dostawcy chipsetów zapewniają, że chipset będzie mógł obsługiwać sztuczną inteligencję na urządzeniu i ułatwiać tworzenie aplikacji, oferując pakiety SDK. Istotne jest również, aby dostawcy chipsetów zapewniali możliwości układów krzemowych w celu przezwyciężenia ograniczeń urządzeń.
- Producenci oryginalnego sprzętu (OEM) konsolidują różne komponenty w jednym urządzeniu i dopasowują aplikacje do problemów i sprzętu konsumenckiego/przedsiębiorstwa.
Dzięki ścisłej współpracy między tymi firmami można dalej rozwijać innowacje, aby zapewnić stałe, długoterminowe źródła przychodów dzięki sztucznej inteligencji zwiększającej produktywność na urządzeniach. Na przykład kolekcja inteligentnych okularów Ray-Ban Meta wykorzystuje chipsety Qualcomm do zapewnienia sztucznej inteligencji w okularach, redukując opóźnienia w sieci i możliwości tłumaczenia w czasie rzeczywistym. To, co kiedyś było postrzegane jako urządzenia „rozrywkowe”, zostanie uznane za niezbędne urządzenia „produktywne”, oferujące wartość wykraczającą poza ulepszoną fotografię lub zwykłych asystentów głosowych.
Na zakończenie ABI Research przewiduje, że rynek stopniowo przyjmie podejście „hybrydowej sztucznej inteligencji”. Dzięki hybrydowej architekturze sztucznej inteligencji obciążenia sztucznej inteligencji znajdują się na brzegu sieci, w chmurze lub na urządzeniu — w zależności od priorytetów komercyjnych i technicznych. Na przykład w przypadku aplikacji wrażliwych na dane szkolenie modeli może odbywać się w chmurze, a wnioskowanie i dostrajanie tych modeli — które wykorzystują dane użytkownika — odbywa się na urządzeniu, aby zapewnić maksymalną prywatność. Przyjmując hybrydowe podejście do sztucznej inteligencji, użytkownicy mogą dystrybuować zużycie energii, redukować wąskie gardła w pamięci i maksymalizować stosunek ceny do wydajności
Reece Hayden jest głównym analitykiem w ABI Research i kieruje działem badań nad sztuczną inteligencją i uczeniem maszynowym tej firmy.