Wielkiej Brytanii Narodowe Centrum Cyberbezpieczeństwa (NCSC) wydała porady i wskazówki dla użytkowników narzędzi AI takie jak ChatGPT które opierają się na algorytmach modelu dużego języka (LLM), twierdząc, że chociaż stwarzają pewne zagrożenia dla prywatności danych, niekoniecznie są obecnie tak przydatne, jeśli chodzi o wdrażanie ich w służbie działalności cyberprzestępczej.
Wykorzystanie LLM odnotowało gwałtowny wzrost od czasu, gdy amerykański startup OpenAI wypuścił ChatGPT na wolność pod koniec 2022 rokupodpowiadając takich jak Google i Microsoft aby szybko ujawnić własne chatboty AI, z różnymi wynikami.
LLM działają poprzez włączanie ogromnych ilości danych tekstowych, zwykle pobieranych bez wyraźnej zgody z publicznego Internetu. Robiąc to, powiedział NCSC, niekoniecznie filtrują wszystkie obraźliwe lub niedokładne treści, co oznacza, że potencjalnie kontrowersyjne treści prawdopodobnie zostaną uwzględnione od samego początku.
Algorytm następnie analizuje relacje między słowami w swoim zbiorze danych i przekształca je w model prawdopodobieństwa, który jest używany do udzielenia odpowiedzi na podstawie tych relacji, gdy chatbot jest monitowany.
„Systemy LLM są niewątpliwie imponujące ze względu na swoją zdolność do generowania ogromnej gamy przekonujących treści w wielu językach ludzkich i komputerowych. Jednak nie są magią, nie są sztuczną inteligencją ogólną i zawierają kilka poważnych wad” – stwierdzili badacze z NCSC.
Na przykład takie chatboty często mylą się i widziano, jak „halucynują” niepoprawne fakty. Są skłonni do uprzedzeń i często mogą być bardzo łatwowierni, jeśli zada się im pytanie naprowadzające. Potrzebują ogromnych zasobów obliczeniowych i ogromnych zbiorów danych, uzyskania ta ostatnia stwarza pytania dotyczące etyki i prywatności. Wreszcie, powiedział NCSC, można je nakłonić do tworzenia toksycznych treści i są podatne na ataki iniekcyjne.
Zespół badawczy ostrzegł również, że chociaż LLM niekoniecznie uczą się na podstawie zapytań, które są im podpowiadane, zapytania będą ogólnie widoczne dla organizacji będącej właścicielem modelu, która może je wykorzystać do dalszego rozwoju swoich usług. Organizacja goszcząca może też zostać przejęta przez organizację o odmiennym podejściu do prywatności lub paść ofiarą cyberataku skutkującego wyciekiem danych.
Zapytania zawierające poufne dane również budzą niepokój – na przykład ktoś, kto prosi chatbota AI o poradę inwestycyjną w oparciu o poproszenie go o informacje niepubliczne, może popełnić naruszenie wykorzystywania informacji poufnych.
W związku z tym NCSC radzi użytkownikom chatbotów AI, aby w pełni zapoznali się z warunkami korzystania z usługi i polityką prywatności oraz aby byli bardzo ostrożni przy uwzględnianiu poufnych informacji w zapytaniu lub przesyłaniu zapytań, które mogłyby prowadzić do problemów, gdyby miały stać się publicznym.
NCSC zasugerowało również, aby organizacje rozważające wykorzystanie LLM do automatyzacji niektórych zadań biznesowych unikały korzystania z publicznych LLM i zwracały się do hostowanej, prywatnej usługi lub budowały własne modele.
Cyberprzestępcze wykorzystanie LLM
W ciągu ostatnich kilku miesięcy trwały długie debaty o użyteczności LLM dla złośliwych aktorówwięc badacze z NCSC zastanawiali się również, czy te modele ułatwiają życie cyberprzestępcom.
Uznając, że miały miejsce „niewiarygodne” demonstracje, w jaki sposób LLM mogą być wykorzystywane przez osoby o niskich kwalifikacjach pisać złośliwe oprogramowanie, NCSC stwierdziło, że obecnie LLM wydają się przekonujące i lepiej nadają się do prostych zadań. Oznacza to, że są bardziej przydatne, jeśli chodzi o pomoc komuś, kto jest już ekspertem w swojej dziedzinie, w zaoszczędzeniu czasu, ponieważ mogą samodzielnie zweryfikować wyniki, zamiast pomagać komuś, kto zaczyna od zera.
„W przypadku bardziej złożonych zadań ekspertowi obecnie łatwiej jest stworzyć złośliwe oprogramowanie od podstaw, zamiast tracić czas na poprawianie tego, co wytworzył LLM” — stwierdzili naukowcy.
„Jednak ekspert zdolny do tworzenia wysoce wydajnego złośliwego oprogramowania prawdopodobnie będzie w stanie nakłonić LLM do napisania zdolnego złośliwego oprogramowania. Ten kompromis między „używaniem LLM do tworzenia złośliwego oprogramowania od podstaw” a „walidacją złośliwego oprogramowania stworzonego przez LLM” będzie się zmieniał wraz z ulepszaniem LLM”.
To samo dotyczy zatrudniania LLM do pomocy w przeprowadzaniu cyberataków, które wykraczają poza możliwości atakującego. Ponownie, obecnie pojawiają się tutaj krótko, ponieważ chociaż mogą dostarczać przekonująco wyglądających odpowiedzi, mogą one nie być całkowicie poprawne. W związku z tym LLM może nieumyślnie spowodować, że cyberprzestępca zrobi coś, co ułatwi jego wykrycie. Istotny jest tu również problem zatrzymywania zapytań cyberprzestępczych przez operatorów LLM.
NCSC przyznało jednak, że ponieważ LLM okazują się biegli w replikowaniu stylów pisania, ryzyko ich użycia pisać przekonujące e-maile phishingowe – być może unikanie niektórych typowych błędów popełnianych przez rosyjskojęzycznych, gdy piszą lub mówią po angielsku, takich jak odrzucanie przedimków określonych – jest raczej pilniejsze.
„Może to pomóc atakującym o wysokich możliwościach technicznych, ale pozbawionych umiejętności językowych, pomagając im w tworzeniu przekonujących wiadomości e-mail phishingowych lub przeprowadzaniu inżynierii społecznej w języku ojczystym ich celów” – powiedział zespół.