Firma Google ogłosiła ambitny nowy projekt opracowania jednego modelu języka AI, który obsługuje „1000 najczęściej używanych języków świata”. Jako pierwszy krok w tym kierunku firma przedstawia model sztucznej inteligencji wyszkolony w ponad 400 językach, który opisuje jako „największy obecnie zasięg językowy w modelu mowy”.
Język i sztuczna inteligencja prawdopodobnie zawsze znajdowały się w centrum produktów Google, ale ostatnie postępy w uczeniu maszynowym – w szczególności rozwój potężnych, wielofunkcyjnych „wielkich modeli językowych” lub LLM – położyły nowy nacisk na te domeny.
Google już rozpoczął integrację tych modeli językowych w produkty takie jak wyszukiwarka Google, jednocześnie odpierając krytykę dotyczącą funkcjonalności systemów. Modele językowe mają wiele wad, w tym tendencję do zwracania szkodliwych uprzedzeń społecznych, takich jak rasizm i ksenofobia, oraz niezdolność do analizowania języka z ludzką wrażliwością. samo Google niesławnie zwolnił własnych badaczy po opublikowaniu artykułów opisujących te problemy.
Modele te są jednak zdolne do wielu zadań z generacji języka (takich jak GPT-3 OpenAI) do tłumaczenia (zobacz Meta’s Nie pozostał żaden język praca). „Inicjatywa 1000 języków” Google nie skupia się na żadnej konkretnej funkcjonalności, ale na stworzeniu jednego systemu z ogromnym zakresem wiedzy w różnych językach świata.
Mówię do PograniczeZoubin Ghahramani, wiceprezes ds. badań w Google AI, powiedział, że firma wierzy, że stworzenie modelu tej wielkości ułatwi wprowadzenie różnych funkcji sztucznej inteligencji do języków, które są słabo reprezentowane w przestrzeniach internetowych i zestawach danych szkoleniowych AI (znanych również jako „ języki niskozasobowe”).
„Języki są jak organizmy, ewoluowały od siebie i mają pewne podobieństwa”.
„Dzięki jednemu modelowi, który jest udostępniany i szkolony w wielu różnych językach, uzyskujemy znacznie lepszą wydajność w naszych językach o niskich zasobach”, mówi Ghahramani. „Sposób, w jaki docieramy do 1000 języków, nie polega na budowaniu 1000 różnych modeli. Języki są jak organizmy, ewoluowały od siebie i mają pewne podobieństwa. I możemy znaleźć całkiem spektakularne postępy w tym, co nazywamy uczeniem się od zera, gdy włączymy dane z nowego języka do naszego 1000-językowego modelu i uzyskamy możliwość tłumaczenia [what it’s learned] z języka wysokozasobowego na język o niskich zasobach”.
Wcześniejsze badania wykazały skuteczność tego podejścia, a skala planowanego modelu Google może przynieść znaczne korzyści w porównaniu z wcześniejszą pracą. Takie projekty na dużą skalę stały się typowe dla ambicji firm technologicznych, aby zdominować badania nad sztuczną inteligencją i czerpać z unikalnych zalet tych firm w zakresie dostępu do ogromnych ilości mocy obliczeniowej i danych szkoleniowych. Porównywalnym projektem jest trwająca próba firmy Meta, firmy macierzystej Facebooka, aby zbudować „uniwersalny tłumacz mowy.”
Dostęp do danych jest jednak problemem podczas trenowania w tak wielu językach, a Google twierdzi, że w celu wsparcia prac nad modelem 1000 języków będzie finansować zbieranie danych dla języków o niskich zasobach, w tym nagrań audio i tekstów pisanych .
Firma twierdzi, że nie ma bezpośrednich planów dotyczących zastosowania funkcjonalności tego modelu — tylko oczekuje, że będzie miał wiele zastosowań w produktach Google, od Tłumacza Google po napisy na YouTube i nie tylko.
„Ten sam model języka może zamienić polecenia robota w kod; potrafi rozwiązywać problemy matematyczne; może dokonywać tłumaczeń”.
„Jedną z naprawdę interesujących rzeczy w dużych modelach językowych i ogólnie w badaniach językowych jest to, że mogą wykonywać wiele różnych zadań”, mówi Ghahramani. „Ten sam model języka może zamienić polecenia robota w kod; potrafi rozwiązywać problemy matematyczne; może zrobić tłumaczenie. Naprawdę interesującą rzeczą w modelach językowych jest to, że stają się repozytoriami dużej ilości wiedzy, a badając je na różne sposoby, można uzyskać dostęp do różnych przydatnych funkcji”.
Google ogłosił model w 1000 języków podczas prezentacji nowych produktów AI. Firma udostępniła również nowe badania nad modelami tekstu na wideo, prototypowy asystent pisania AI o nazwie Wordcraft oraz aktualizację aplikacji AI Test Kitchen, która daje użytkownikom ograniczony dostęp do niedopracowanych modeli AI, takich jak tekst na obraz model Zdjęcien.