Inicjatywa wspierana przez Facebooka, której celem jest umożliwienie ludziom pisania poprzez myślenie, zakończyła się nowymi odkryciami opublikowanymi dzisiaj.
Projekt Steno był wieloletnią współpracą Facebooka z laboratorium Chang Lab Uniwersytetu Kalifornijskiego w San Francisco, której celem było stworzenie systemu, który przekłada aktywność mózgu na słowa. Nowa praca naukowa, opublikowane w New England Journal of Medicine, pokazuje potencjał do wdrożenia technologii dla osób z zaburzeniami mowy.
Ale oprócz badań, Facebook wyjaśnił, że wycofuje się z pomysłu komercyjnego, montowanego na głowie urządzenia do czytania mózgu i buduje zamiast tego interfejsy noszone na nadgarstku. Nowe badanie nie ma wyraźnego zastosowania do produktu technologicznego na rynek masowy i w komunikacie prasowymFacebook powiedział, że „przekierowuje” swoje priorytety z dala od montowanych na głowie interfejsów mózg-komputer.
„Aby było jasne, Facebook nie jest zainteresowany opracowywaniem produktów wymagających wszczepionych elektrod” – powiedział Facebook w komunikacie prasowym. W innym miejscu w komunikacie zauważono, że „chociaż nadal wierzymy w długoterminowy potencjał montowanych na głowie optycznych technologii BCI, zdecydowaliśmy się skoncentrować nasze natychmiastowe wysiłki na innym podejściu do interfejsu neuronowego, który ma bliższą ścieżkę do rynek.”
Trwające badania Chang Lab obejmują wykorzystanie wszczepionych interfejsów mózg-komputer (BCI) do przywracania ludziom zdolności mowy. Nowy artykuł skupia się na uczestniku, który utracił zdolność mówienia po udarze ponad 16 lat temu. Laboratorium wyposażyło mężczyznę w wszczepione elektrody, które mogły wykryć aktywność mózgu. Następnie mężczyzna spędził 22 godziny (rozłożone na ponad roczne sesje) trenując system rozpoznawania określonych wzorców. Podczas tego szkolenia próbował wypowiadać pojedyncze słowa z zestawu 50 słów. Na innym szkoleniu próbował tworzyć pełne zdania używając tych słów, które zawierały podstawowe czasowniki i zaimki (takie jak „jestem” i „ja”), a także konkretne pomocne rzeczowniki (takie jak „okulary” i „komputer”) oraz polecenia ( jak „tak” i „nie”).
To szkolenie pomogło stworzyć model językowy, który mógł reagować, gdy mężczyzna myślał o wypowiedzeniu określonych słów, nawet jeśli w rzeczywistości ich nie znał. Naukowcy dopracowali model, aby przewidzieć, które z 50 słów, o których myślał, integrując system prawdopodobieństwa dla wzorców języka angielskiego podobny do predykcyjnej klawiatury smartfona. Naukowcy poinformowali, że w końcowych próbach system mógł dekodować medianę 15,2 słów na minutę, z błędami liczenia lub 12,5 słowa na minutę tylko poprawnie zdekodowanych słów.
Chang Lab opublikowało wcześniejsze badania Project Steno w 2019 i 2020 roku, pokazując, że matryce elektrod i modele predykcyjne potrafi tworzyć stosunkowo szybkie i wyrafinowane systemy pisania na klawiaturze. Wiele poprzednich opcji pisania polegało na mentalnym przesuwaniu kursora po klawiaturze ekranowej za pomocą implantu mózgowego, chociaż niektórzy inni badacze eksperymentowali z metodami jak wizualizacja pisma odręcznego. Podczas gdy wcześniejsze badania laboratoryjne dotyczyły dekodowania aktywności mózgu u ludzi, którzy mówili normalnie, ten najnowszy artykuł pokazuje, że działa to nawet wtedy, gdy badani nie mówią (i nie mogą) mówić na głos.
W komunikacie prasowym przewodniczący neurochirurgii UCSF Eddie Chang mówi, że następnym krokiem jest ulepszenie systemu i przetestowanie go na większej liczbie osób. „Po stronie sprzętu musimy budować systemy o wyższej rozdzielczości danych, aby rejestrować więcej informacji z mózgu i szybciej. Po stronie algorytmów potrzebujemy systemów, które potrafią przetłumaczyć te bardzo złożone sygnały z mózgu na wypowiadane słowa, a nie tekst, ale w rzeczywistości ustne, słyszalne słowa.” Jednym z głównych priorytetów, mówi Chang, jest znaczne poszerzenie słownictwa.
Dzisiejsze badania są cenne dla osób, które nie są obsługiwane przez klawiatury i inne istniejące interfejsy, ponieważ nawet ograniczone słownictwo może ułatwić im komunikację. Ale daleko mu do tego ambitny cel wyznaczony przez Facebooka w 2017 roku: nieinwazyjny system BCI, który pozwalałby ludziom pisać 100 słów na minutę, co jest porównywalne z wyższymi prędkościami, jakie mogliby osiągnąć na tradycyjnej klawiaturze. Najnowsze badania UCSF dotyczą wszczepionej technologii i nie zbliżają się do osiągnięcia tej liczby – ani nawet prędkości większość ludzi może dotrzeć na klawiaturze telefonu. To źle wróży komercyjnym perspektywom technologii, takiej jak zewnętrzna opaska na głowę, która optycznie mierzy poziom tlenu w mózgu, co Facebook Reality Labs (skrzydło sprzętowe firmy do wirtualnej i rozszerzonej rzeczywistości) odsłonięty w formie prototypowej.
Od tego czasu Facebook nabył firmę CTRL-Labs zajmującą się opaskami na rękę do elektromiografii (EMG) w 2019 roku, dawac to alternatywna opcja sterowania dla AR i VR. „Wciąż jesteśmy na wczesnym etapie uwalniania potencjału elektromiografii nadgarstkowej (EMG), ale wierzymy, że będzie to podstawowy wkład dla okularów AR, a zastosowanie tego, czego nauczyliśmy się o BCI, pomoże nam szybciej osiągnąć ten cel ”, mówi dyrektor ds. badań Facebook Reality Labs Sean Keller. Facebook nie zrezygnuje całkowicie z montowanego na głowie systemu interfejsu mózgowego, ale planuje udostępnić oprogramowanie jako oprogramowanie typu open source i udostępniać prototypy sprzętu zewnętrznym badaczom, jednocześnie kończąc własne badania.