CIO od pewnego czasu podlegają ogromnej presji, aby dostarczyć udane inicjatywy cyfrowe przy jednoczesnym nawigowaniu ograniczeń budżetowych i rosnącym wymaganiom kierownictwa wyższego szczebla. Niedawne badanie Gartner ujawnia, że 92% CIO przewiduje integrację sztucznej inteligencji (AI) do swoich organizacji do 2025 r., Ale 49% walczy o ocenę i zaprezentowanie wartości technologii. Tutaj jedziemy w kółko?
Pośród tych wyzwań, Modele małego języka (SLM) pojawiły się jako przekonujące rozwiązanie, obiecujące tańsze i bezpieczniejsze możliwości AI, które mogą pasować do strategicznych priorytetów. Tyle o SLM ma sens.
„Społeczność AI aktywnie bada małe modele językowe, takie jak Mistral mały I Deepseek R1– mówi Amer Sheikh, główny naukowiec danych w BearingPoint. „Te modele odnotowały znaczącą przyczepność, o czym świadczy liczba pobrań On Przytulanie twarzy. Ich popularność wynika z ich zdolności do kompleksowania dokładności, szybkości i opłacalności. ”
Dodawanie inteligencji na krawędzi
I to jest kluczowy punkt. To kompromis-ale wyraźnie warto zrobić. SLM, ze swojej natury, oferują praktyczną alternatywę dla organizacji starających się wdrożyć sztuczną inteligencję bez kosztów ogólnych Duże modele językowe (LLM). Oni również prowadzą kolejną falę Edge Ai adopcja, umożliwiając modele AI działanie na smartfonach, urządzeniach Internetu rzeczy (IoT) i systemach przemysłowych bez polegania na infrastrukturze chmurowej.
“Małe modele otwórz możliwość popchnięcia wykonania na krawędź-mówi Peter Van Der Putten, dyrektor AI Lab w Pegasyystems i adiunkt AI na Uniwersytecie Leiden. „Może to oznaczać bieganie na wysokiej klasy smartfonach, urządzeniach IoT, takich jak kamery i, przy odpowiedniej zgody, odblokowując zupełnie nowe źródła danych, aby się uczyć, które obecnie nie są dostępne w otwartym Internecie”.
Pomimo obietnicy rzeczywiste aplikacje SLM w urządzeniach mobilnych i IoT pozostają na wczesnym etapie. Trochę praktyczne Wdrożenia obejmują model R1 Deepseekktóry został zintegrowany z systemami informacyjno-rozrywkowymi chińskim producentami (takimi jak Geely) i Phi-3, niewielkim modelem zaprojektowanym do mobilnych aplikacji AI. W edukacji Smile Plug Stanford wykorzystuje małe modele AI do dostarczania interaktywnych doświadczeń edukacyjnych na urządzeniach Raspberry Pi bez łączności internetowej. Przykłady te pokazują rosnący potencjał SLM.
„SLM mogą i są wdrażane w wielu branżach, w których istnieje wymóg określonej wiedzy domen”, dodaje Sheikh, podkreślając ich wykorzystanie w chatbotach obsługi klienta, wirtualnych asystentach i podsumowaniu tekstu.
W przeciwieństwie do LLM, które wymagają ogromnej mocy obliczeniowej i zasobów chmurowych, SLM mogą działać lokalnie, obniżając koszty i łagodzić ryzyko bezpieczeństwa, stąd ich przydatność do zwiększenia inteligencji urządzeń Edge. „Występuje ogromne obniżenie kosztów wnioskowania. Jednak będzie niewielkie koszty dostrajania i samowystarczalności”-dodaje.
Isabel al-Dhahir, główny analityk z Globaldata, SLM można rozszerzyć o mniejsze, bardziej skoncentrowane zestawy danych. „Zastosowanie SLMS obchodzi kilka wyzwań związanych z LLM ogólnego przeznaczenia, w tym wymagania dotyczące mocy obliczeniowej, wygórowane koszty i niewystarczającą wiedzę na temat domeny”.
Ta zdolność skupienia się na precyzyjnych, specyficznych dla branży przypadkach użycia jest powodem, dla którego sektory regulowane, takie jak telekomunikacja, rachunkowość i prawo łatwiej przyjmują SLM.
„Widzieliśmy SLM dla profesjonalnych usług w zakresie regulacji rachunkowości, regulacji telekomunikacyjnych oraz różnych aplikacji na urządzenie i automatyzację domu”, dodaje Al-Dhahir.
Z Techniki odzyskiwania powiększonego pokolenia (RAG)Firmy mogą jeszcze bardziej udoskonalić i zwiększyć dokładność tych modeli w swoich konkretnych domenach.
Kluczowe bezpieczeństwo w branży znośnie LLM
Poza kosztami bezpieczeństwo pozostaje głównym czynnikiem, szczególnie w obrębie urządzeń krawędziowych. Według Samana Nasrolahi, dyrektora w Inmotion Ventures (ramię inwestycyjne Jaguar Land Rover), tutaj SLM również tykają kilka pudełek.
Znaczna część strachu wokół LLM wiąże się z brakiem przejrzystości co do tego, co dzieje się za kulisami pod względem zestawiania danych i analizy. SLM to lokalna wersja generatywnego świata sztucznej inteligencji (Genai).
„Oprócz redukcji kosztów to podejście sprawia, że są one znacznie bezpieczniejsze i mniej podatne na naruszenie danych, ponieważ dane nie muszą opuszczać granic organizacji”, mówi Nasrolahi.
Ta zdolność jest szczególnie kluczowa dla opieki zdrowotnej, usług finansowych i prawnych, w których zasadnicze znaczenie są zgodne z przepisami i ochroną danych.
„Około jedna trzecia wszystkich ataków bezpieczeństwa cybernetycznego występuje, gdy dane są udostępniane zewnętrznym dostawcy. Utrzymując dane na miejscu, SLM może zmniejszyć powierzchnię ataku i luki przedsiębiorstwa”, dodaje Nasrolahi.
W czasach, gdy firmy są coraz bardziej zaniepokojone suwerennością danych i zgodnością, zdolność do lokalizacji przetwarzania AI jest z pewnością znaczącą zaletą.
Andrew Bolster, starszy menedżer ds. Badań i rozwoju (Data Science) w Black Duck, dodaje, że przenośność SLM, przynajmniej w porównaniu z „Juggernauts z GPT-4, Claude, a nawet Lama”, sprawia, że są odpowiednie do rozmieszczenia krawędzi. Bezpieczeństwo, koszty i funkcjonalność są atrakcyjnymi propozycjami.
„SLM działające na urządzeniach Edge oznaczają, że dane użytkowników nie muszą opuszczać urządzenia, aby przyczynić się do inteligentnej reakcji lub działania przy jednoczesnym poprawie opóźnień i wydajności, dzięki czemu inteligentne operacje wydają się bardziej„ istotne ”i„ snappy ”, jednocześnie chroniąc prywatność użytkowników”, mówi.
Dzięki osiągnięciom w niestandardowych chipsetach do obsługi tego rodzaju obciążeń, wymagania zasilania, pamięci i wydajności SLM można teraz znaleźć w większości laptopów i telefonach komórkowych na średnim poziomie, umożliwiając platformom usługowym przeniesienie większej ilości inteligencji do użytkownika końcowego. Ta zdolność do przetwarzania danych lokalnie na laptopach, urządzeniach mobilnych i przemysłowych systemach IoT sprawia, że SLM jest szczególnie cenna dla aplikacji o niskiej opóźnieniu, branż i środowisk wrażliwych na bezpieczeństwo o ograniczonym dostępie do Internetu.
Jeff Watkins, dyrektor ds. Technologii (CTO) w CreateFuture, dodaje, że SLM „mogą działać lokalnie na laptopach, komputerach stacjonarnych, smartfonach, a nawet urządzeniach IoT. Obejmują one rozmiar i możliwości – od tych, które mogą działać na kompaktowych urządzeniach po te, które zaczynają kwestionować najnowsze modele MacBook Pro”.
Dzięki niższym kosztom, zwiększonym bezpieczeństwu i możliwości efektywnego funkcjonowania istniejącego sprzętu, SLM stanowią coraz bardziej strategiczną opcję dla firm. Ale jak w przypadku każdej pojawiającej się technologii, pozostają wyzwania. Halucynacje, uprzedzenia i potrzeba dostrajania oznaczają staranne wdrożenie.
„Halucynacje są nadal problemem dla SLM, podobnie jak LLM. Jednak bardziej wyspecjalizowane modele są mniej podatne na te problemy”, mówi Nasrolahi.
Obniżyć energię, obniżyć koszt, tym bardziej mobilny staje się
Kolejnym kluczowym sterownikiem przyjęcia SLM w urządzeniach Edge jest ich zdolność do działania przy niższym zużyciu energii przy jednoczesnym zmniejszeniu zależności chmur. „SLM są mniej energooszczędne, co czyni je tańsze, lepsze dla środowiska i często są wystarczająco małe, aby działać lokalnie na obliczeniach krawędziowych, takich jak telefon komórkowy lub komputer bez potrzeby połączenia internetowego”, mówi Silvia Lehnis, dyrektor konsultingowy ds. Danych i AI w UBDS Digital.
Korzyści z kosztów środowiskowych i operacyjnych sprawiają, że SLM są szczególnie atrakcyjne dla firm mających na celu zmniejszenie śladu węglowego AI przy jednoczesnym zachowaniu bezpieczeństwa danych. „Uruchamianie modelu lokalnego bez dostępu do Internetu może również mieć zalety prywatności danych, ponieważ dane nie są udostępniane internetowej aplikacji do centralnego rejestrowania i monitorowania, dzięki czemu nadaje się do bardziej wrażliwych przypadków użycia”, dodaje Lehnis.
To powtarzający się motyw. Ta rosnąca świadomość, że SLM może umożliwić odejście od jednego rozmiaru w stosunku do bardziej skoncentrowanych, opłacalnych modeli AI powinny zmienić sposób myślenia przedsiębiorstw o użytkowaniu Genai. Może to mieć szerszy wpływ na zakup IT, z pewnością pod względem tego, jak CIO myślą strategicznie o tym, co jest i nie jest możliwe w przypadku Genai.
Deloitte Trendy technologiczne 2025 Raport sugeruje, że przedsiębiorstwa rozważają SLM i opcje open source dla możliwości szkolenia modeli na mniejszych, dokładniejszych zestawach danych. Jest to uznanie, że rozmiar to nie wszystko, ale dokładność i znaczenie jest zgodne z wdrażaniem AI do celów operacyjnych.
Trajektoria adopcji AI wskazuje na rosnącą preferencję dla modeli, które równoważą wydajność z praktycznością operacyjną, ale istnieje również rosnące pragnienie większej liczby obliczeń, w czasie rzeczywistym i strategicznie istotnej funkcjonalności.
Co ciekawe, w 2017 r. Gartner przewidział, że tak się stanie, twierdząc, że w tym roku 75% danych generowanych przez przedsiębiorstwo zostanie utworzonych i przetwarzanych poza tradycyjnymi scentralizowanymi centrami danych lub chmury. I to było zanim dowiedzieliśmy się cokolwiek o SLMS i ich roli.
Co to oznacza dla przyszłości SLM i urządzeń komputerowych? Z pewnością będą mieli znaczącą rolę do odegrania, ponieważ przedsiębiorstwa zobaczą sztuczną inteligencję na swoich warunkach, ale także umożliwić różnicowanie. To stanie się nowym wyzwaniem dla CIO – jak zdobyć Najlepsze z Genai Aby wywrzeć duży wpływ na wyniki biznesowe. Kąty mogą pochodzić z wielu kierunków – to naprawdę zależy od organizacji i branży.
Wzrost SLM dotyczy nie tylko oszczędności kosztów lub bezpieczeństwa – chodzi o różnicowanie AI. Jak zauważa Jarrod Vawdrey, główny naukowiec z Domino Data Lab w Domino Data Lab, SLM już przekształcają opiekę zdrowotną, finanse i obronę, umożliwiając sztuce AI na urządzeniu na urządzenie, ochronę wrażliwych danych i zwiększenie decyzji w czasie rzeczywistym.
„SLM wdrożone na urządzeniach medycznych umożliwiają monitorowanie pacjentów w czasie rzeczywistym i pomoc diagnostyczną”, zauważa, podczas gdy instytucje finansowe wykorzystują SLM w celu wykrywania oszustw i zgodności z praniem przeciwpielików.
W przypadku CIO wyzwanie jest zmieniające się. Jak wykorzystać Genai, aby wywrzeć znaczący wpływ na wyniki biznesowe? Odpowiedź polega na dostosowaniu modeli AI do potrzeb w branży-coś, co SLM są wyjątkowo ustawione. W ciągu następnych kilku lat przedsiębiorstwa wyjdą poza ogólne modele AI, koncentrując się zamiast tego na hiper-istotnej, wyszkolonej w dziedzinie sztucznej inteligencji, która napędza różnicowanie i przewagę konkurencyjną. Jeśli cokolwiek zamierza wcisnąć przetwarzanie krawędzi w głównym nurcie, są to małe modele językowe.