OpenAI nie robi wystarczająco dużo, aby wyjaśnić ograniczenia ChatGPT

„Może czasami generować nieprawidłowe informacje.”

Oto ostrzeżenie, które OpenAI umieszcza na stronie głównej swojego chatbota AI ChatGPT — jeden punkt spośród dziewięciu, które szczegółowo opisują możliwości i ograniczenia systemu.

“Móc sporadycznie generować błędne informacje”.

To ostrzeżenie, które możesz umieścić w prawie każdym źródle informacji, od Wikipedii, przez Google, aż po pierwszą stronę The New York Times, i byłoby to mniej więcej poprawne.

„Może czasami generować błędny Informacja.”

Ponieważ jeśli chodzi o przygotowanie ludzi do korzystania z technologii tak potężnej, tak przereklamowanej i tak źle rozumianej jak ChatGPT, jasne jest, że OpenAI nie robi wystarczająco dużo.

Niezrozumiana natura ChatGPT została wyjaśniona po raz kolejny w ten weekend rozeszły się wieści że amerykański prawnik Steven A. Schwartz zwrócił się do chatbota, aby znaleźć dowody wspierające w pozwie, który prowadził przeciwko kolumbijskiej linii lotniczej Avianca. Problem polegał oczywiście na tym, że żaden z przypadków sugerowanych przez ChatGPT nie istnieje.

Schwartz twierdzi, że „nie zdawał sobie sprawy z możliwości, że [ChatGPT’s] zawartość może być fałszywa”, chociaż transkrypcje jego rozmowy z botem pokazują, że był na tyle podejrzliwy, by sprawdzić swoje badania. Niestety zrobił to, pytając ChatGPT, i ponownie system wprowadził go w błąd, zapewniając go, że jego fikcyjna historia przypadków jest uzasadniona:

Schwartz zasługuje na dużą winę w tym scenariuszu, ale częstotliwość, z jaką zdarzają się takie przypadki – gdy użytkownicy ChatGPT traktują system jako wiarygodne źródło informacji – sugeruje, że należy również wziąć pod uwagę szerszy rozrachunek.

W ciągu ostatnich kilku miesięcy pojawiło się wiele doniesień o ludziach, którzy zostali oszukani przez oszustwa ChatGPT. Większość przypadków jest trywialna i miała niewielki lub żaden negatywny wpływ. Zazwyczaj system wymyśla newsa Lub artykuł naukowy Lub książka, wtedy ktoś próbuje znaleźć to źródło i albo marnuje czas, albo wygląda na głupca (albo jedno i drugie). Ale łatwo zobaczyć, jak dezinformacja ChatGPT może prowadzić do poważniejszych konsekwencji.

Na przykład w maju jeden profesor A&M z Teksasu użył chatbota do sprawdzenia czy eseje uczniów zostały napisane przy pomocy sztucznej inteligencji. Zawsze uczynny, ChatGPT powiedział, tak, Wszystko eseje uczniów zostały wygenerowane przez sztuczną inteligencję, mimo że nie ma ona wiarygodnych możliwości dokonania takiej oceny. Profesor zagroził, że oleje klasę i wstrzyma im dyplomy, dopóki jego błąd nie zostanie wykryty. Następnie, w kwietniu, profesor prawa opowiedział, jak system generował fałszywe wiadomości, oskarżając go o niewłaściwe zachowanie seksualne. Dowiedział się dopiero wtedy, gdy kolega, który prowadził badania, zaalarmował go o tym fakcie. „To było dość mrożące krew w żyłach” — powiedział profesor powiedział The Washington Post. „Tego rodzaju oskarżenia są niezwykle szkodliwe”.

Nie sądzę, aby takie przypadki unieważniały potencjał ChatGPT i innych chatbotów. W odpowiednim scenariuszu i przy odpowiednich zabezpieczeniach jasne jest, że narzędzia te mogą być fantastycznie przydatne. Myślę, że ten potencjał obejmuje również takie zadania, jak wyszukiwanie informacji. Istnieje wiele rodzajów ciekawe badania które pokazują, w jaki sposób systemy te mogą i zostaną w przyszłości bardziej ugruntowane w faktach. Chodzi o to, że teraz to nie wystarczy.

To po części wina mediów. Wiele raportów na temat ChatGPT i podobnych botów przedstawia te systemy jako ludzkie inteligencje z emocjami i pragnieniami. Często dziennikarze nie zwracają uwagi na zawodność tych systemów — nie wyjaśniają warunkowego charakteru dostarczanych przez nie informacji.

Ale, jak mam nadzieję, wyjaśniłem początek tego artykułu, OpenAI z pewnością może również pomóc. Chociaż chatboty są przedstawiane jako nowy rodzaj technologii, to jasne, że ludzie używać ich jako wyszukiwarek. (I wiele z nich jest wyraźnie uruchamianych Jak wyszukiwarek, więc oczywiście są zdezorientowani.) Nie jest to zaskakujące: pokolenie internautów zostało przeszkolonych w zakresie wpisywania pytań w okienko i otrzymywania odpowiedzi. Ale podczas gdy źródła takie jak Google i DuckDuckGo udostępniają linki, które zachęcają do analizy, chatboty mieszają informacje w odtworzonym tekście i przemawiają radosnym tonem wszechwiedzącego asystenta cyfrowego. Zdanie lub dwa jako zrzeczenie się odpowiedzialności nie wystarczy, aby zastąpić tego rodzaju torowanie.

Co ciekawe, uważam, że chatbot Bing (który jest zasilany przez tę samą technologię co ChatGPT) radzi sobie nieco lepiej z tego rodzaju zadaniami związanymi z ustalaniem faktów; przeważnie przeszukuje sieć w odpowiedzi na zapytania dotyczące faktów i dostarcza użytkownikom linki jako źródła. ChatGPT Móc przeszukuj sieć, ale tylko jeśli płacisz za wersję Plus i korzystasz z wtyczki w wersji beta. Jego samowystarczalny charakter sprawia, że ​​jest bardziej podatny na wprowadzanie w błąd.

Interwencje nie muszą być skomplikowane, ale muszą Tam. Dlaczego, na przykład, ChatGPT może po prostu nie rozpoznać, kiedy jest proszony o wygenerowanie rzeczowych cytatów i ostrzec użytkownika, aby „sprawdził moje źródła”? Dlaczego nie może odpowiedzieć na pytanie „czy ten tekst jest generowany przez sztuczną inteligencję?” z wyraźnym „Przepraszam, nie jestem w stanie dokonać takiej oceny”? (Skontaktowaliśmy się z OpenAI w celu uzyskania komentarza i zaktualizujemy tę historię, jeśli otrzymamy odpowiedź).

OpenAI zdecydowanie poprawiło się w tym obszarze. Od czasu premiery ChatGPT, z mojego doświadczenia wynika, że ​​znacznie bardziej otwarcie mówi o swoich ograniczeniach, często poprzedzając odpowiedzi tym sztucznym hasłem: „Jako model języka AI…” Ale jest to również niespójne. Dziś rano, kiedy zapytałem bota „czy potrafisz wykryć tekst generowany przez sztuczną inteligencję?” ostrzegł, że „nie jest niezawodny”, ale kiedy nakarmiłem go fragmentem tej historii i zadałem to samo pytanie, po prostu odpowiedział: „Tak, ten tekst został wygenerowany przez sztuczną inteligencję”. Następnie poprosiłem go, aby dał mi listę polecanych książek na temat pomiaru (coś, co wiem trochę o). “Z pewnością!” powiedział przed zaoferowaniem 10 sugestii. To była dobra lista, obejmująca wiele klasyków, ale dwa tytuły były po prostu całkowicie wymyślone i gdybym nie wiedział, żeby to sprawdzić, nie zauważyłbym. Wypróbuj podobne testy, a przekonasz się Qszybko znaleźć błędy.

W przypadku tego rodzaju wyników zrzeczenie się odpowiedzialności typu „Może czasami generować nieprawidłowe informacje” po prostu nie wydaje się dokładne.