Twitter był kiedyś ostoją badań akademickich — sposobem na mierzenie pulsu Internetu. Ale ponieważ nowy właściciel Elon Musk próbował zarabiać na usłudze, badacze walczą o zastąpienie niegdyś kluczowego narzędzia. O ile Twitter nie dokona wkrótce kolejnej zmiany, może zamknąć rozdział całej ery badań.
„Badania z wykorzystaniem danych z mediów społecznościowych dotyczyły głównie Twittera” — mówi Gordon Pennycook, profesor nauk behawioralnych na Uniwersytecie Regina. „To było główne źródło, z którego korzystali ludzie”
„To była głównie Twitter-ologia”.
Do czasu przejęcia przez Muska API Twittera — które umożliwia zewnętrznym programistom gromadzenie danych — było uważane za jedno z najlepszych w Internecie. Umożliwiło studiowanie wszystkiego od jak ludzie reagują na katastrofy pogodowe Do jak powstrzymać rozprzestrzenianie się dezinformacji online. Problemy, którymi się zajęli, stają się coraz poważniejsze, co sprawia, że tego rodzaju badania są tak samo ważne jak zawsze. Ale Twittera zdecydowany zakończyć bezpłatny dostęp do swojego API w lutym i wystrzelony płatne poziomy w marcu. Firma powiedział „szukał nowych sposobów dalszego służenia” środowisku akademickiemu, ale mimo to zaczął bezceremonialnie odcinać dostęp użytkownikom zewnętrznym, którzy nie płacili. Podczas odcięcia powodowało problemy dla wielu różnych użytkownikóww tym agencje transportu publicznego i służby ratownicze, naukowcy należą do grup najbardziej dotkniętych.
Badacze, którzy od lat polegają na Twitterze, mówią Krawędź musieli przestać go używać. Płacenie za dostęp do jego interfejsu API jest po prostu zbyt drogie, co podobno wzrosło do 42 000 USD miesięcznie lub więcej za konto korporacyjne. W rezultacie naukowcy stracili kluczowy punkt widzenia na ludzkie zachowanie. I chociaż starają się znaleźć nowe źródła, nie ma jeszcze jasnej alternatywy.
Twitter dał naukowcom możliwość obserwowania prawdziwych reakcji ludzi, zamiast pytać uczestników badania, jak oni to robią myśleć mogą zareagować w określonych scenariuszach. To było kluczowe dla Pennycook’s badania w strategie zapobiegające rozprzestrzenianiu się dezinformacji online, na przykład poprzez pokazywanie ludziom treści, które proszą ich o zastanowienie się nad dokładnością przed udostępnieniem linku.
Bez możliwości zobaczenia, co dana osoba faktycznie tweetuje, badacze tacy jak Pennycook mogą być ograniczeni pytać ktoś w ankiecie, jakie treści udostępniłby w mediach społecznościowych. „To w zasadzie hipotetyczne” — mówi Pennycook. „Firmy technologiczne, które faktycznie byłyby w stanie wdrożyć jedną z tych interwencji, nie byłyby pod wrażeniem… Musieliśmy gdzieś przeprowadzić eksperymenty, aby pokazać, że to faktycznie może działać na wolności”.
W kwietniu grupa naukowców, dziennikarzy i innych badaczy zwana Koalicją na rzecz Niezależnych Badań Technologicznych wysłała wiadomość list do Twittera z prośbą o pomoc w utrzymaniu dostępu. Koalicja przeprowadziła ankietę wśród badaczy i stwierdziła, że nowe ograniczenia Twittera zagroziły ponad 250 różnym projektom. Oznaczałoby to również koniec co najmniej 76 „długoterminowych wysiłków”, mówi list, w tym pakietów kodu i narzędzi. Ponieważ egzekwowanie nowych zasad Twittera było nieco przypadkowe (niektórzy użytkownicy zostali wyrzuceni z platformy przed innymi), koalicja ustanowiła akcję wzajemnej pomocy. Naukowcy starali się zebrać jak najwięcej danych, zanim stracili własne klucze dostępu, a inni zaoferowali im pomoc w zebraniu tych danych lub przekazali własny dostęp do API Twittera naukowcom, którzy go zgubili.
Najtańszy poziom API Twittera, za 100 USD miesięcznie, pozwoliłby stronom trzecim zbierać tylko 10 000 miesięcznie. Według listu to zaledwie 0,3 procent tego, do czego wcześniej mieli bezpłatny dostęp w ciągu jednego dnia. Koalicja twierdziła, że nawet „skandalicznie drogi” poziom przedsiębiorstwa nie wystarczył do przeprowadzenia ambitnych badań lub utrzymania ważnych narzędzi.
Jednym z takich narzędzi jest Botometer, system oceniający prawdopodobieństwo, że konto na Twitterze jest botem. Chociaż Musk wyraził sceptycyzm wobec badań nad dezinformacją, tak naprawdę jest używany botometr publicznie — aby oszacować, ile botów było na platformie podczas jego próby wycofania się z umowy, którą zawarł, aby kupić Twittera. Teraz jego przejście do pobierania opłat za dostęp do API może doprowadzić do upadku Botometer.
Ogłoszenie na temat Botometru strona internetowa mówi, że narzędzie prawdopodobnie wkrótce przestanie działać. „Aktywnie poszukujemy rozwiązań, które utrzymają tę witrynę przy życiu i będą bezpłatne dla naszych użytkowników, co będzie obejmować szkolenie nowego modelu uczenia maszynowego i pracę z nowymi płatnymi planami API Twittera” – czytamy. „Należy pamiętać, że nawet jeśli możliwe jest zbudowanie nowej wersji witryny Botometer, będzie ona miała ograniczone funkcje i limity w porównaniu z obecną wersją ze względu na ograniczone API Twittera”.
Zbliżające się zamknięcie jest osobistym ciosem dla współtwórcy Botometer, Kai-Cheng Yanga, badacza badającego dezinformację i boty w mediach społecznościowych, który niedawno uzyskał doktorat z informatyki na Indiana University Bloomington. „Cały mój doktorat, cała moja kariera opiera się obecnie na danych z Twittera. Prawdopodobnie nie będzie już dostępny w przyszłości” — mówi Yang Krawędź. Zapytany, jak może teraz inaczej podejść do swojej pracy, odpowiada: „Ciągle zadaję sobie to pytanie”.
„Platforma przeszła od jednej z najbardziej przejrzystych i dostępnych na świecie do naprawdę dna beczki”.
Inni badacze są podobnie skonsternowani. „Platforma przeszła od jednej z najbardziej przejrzystych i dostępnych na świecie do naprawdę dna beczki” — mówi sygnatariuszka listu Rebekah Tromble, dyrektor Instytutu Danych, Demokracji i Polityki (IDDP) na Uniwersytecie George’a Washingtona. Część wcześniejszych prac Tromble’a, polegających na badaniu rozmów politycznych na Twitterze, była w rzeczywistości finansowana przez firmę, zanim zmieniła ona swoje zasady API.
„Interfejs API Twittera był absolutnie niezbędny w badaniach, które prowadzę od lat” — mówi Tromble Krawędź. I podobnie jak Yang, musi dostosować się do nowych schematów cenowych platformy. „W tej chwili po prostu nie studiuję Twittera” — mówi.
Ale nie ma wielu innych opcji gromadzenia danych zbiorczych z mediów społecznościowych. Chociaż pobieranie danych ze strony internetowej bez użycia interfejsu API jest jedną z opcji, jest to bardziej żmudna praca i może być obarczona innymi zagrożeniami. Twitter i inne platformy próbowały ograniczyć scraping, po części dlatego, że trudno jest stwierdzić, czy odbywa się to w interesie publicznym, czy w złośliwych celach, takich jak phishing.
Tymczasem inni giganci mediów społecznościowych są jeszcze bardziej restrykcyjni niż Twitter, jeśli chodzi o dostęp do API, co utrudnia przejście na inną platformę. A ograniczenia wydają się być coraz ostrzejsze — w zeszłym miesiącu Reddit podobnie ogłosił, że tak się stanie zacząć ograniczać dostęp stron trzecich do jego API.
„Zastanawiam się tylko, czy to początek tego, że firmy coraz mniej chcą mieć interfejs API do udostępniania danych” — mówi Hause Lin, pracownik naukowy ze stopniem doktora w MIT i University of Regina, opracowujący sposoby powstrzymania rozprzestrzeniania się mowy nienawiści i dezinformacji w Internecie. „Wygląda na to, że krajobraz całkowicie się zmienia, więc nie wiemy, dokąd zmierza” — mówi Lin Krawędź.
Istnieją oznaki, że sprawy mogą przybrać jeszcze ostrzejszy obrót na gorsze. Zeszły tydzień, nowinki zgłoszone że Twitter powiedział niektórym badaczom, że będą musieli usunąć dane, które już zebrali za pomocą decahose, który zapewnia losową próbkę 10 procent całej treści na platformie, chyba że zapłacą za konto korporacyjne, które może przekraczać 42 000 USD miesięcznie . Posunięcie to jest równoznaczne z „wielkim odpowiednikiem palenia książek”, jak powiedział jeden bezimienny naukowiec, który otrzymał zawiadomienie nowinki.
Krawędź nie był w stanie zweryfikować tych wiadomości na Twitterze, który teraz rutynowo odpowiada na zapytania reporterów za pomocą emoji kupy. Żaden z badaczy Krawędź rozmawiał, otrzymał takie powiadomienie i wydaje się, że jak dotąd ogranicza się to do użytkowników, którzy wcześniej zapłacili za korzystanie z decahose (tylko jedno użycie API Twittera, które wcześniej byłoby bezpłatne lub tanie dla naukowców).
Zarówno Tromble, jak i Yang używali w przeszłości decahose w swojej pracy. „Nigdy wcześniej Twitter nie wrócił do badaczy i nie powiedział, że teraz umowa się skończyła, musisz zrezygnować ze wszystkich danych” – mówi Tromble. „To kompletna parodia. Zniszczy kilka naprawdę ważnych projektów badawczych”.
„Nie będziemy w stanie wiedzieć o świecie tyle, co wcześniej”.
Podobnie twierdzą inni naukowcy Krawędź że zgłoszone przez Twittera naciski, aby badacze „wymazali wszystkie dane Twittera przechowywane i buforowane w twoich systemach” bez subskrypcji korporacyjnej, byłyby druzgocące. Może to uniemożliwić uczniom ukończenie pracy, w którą zainwestowali lata, jeśli zostaną zmuszeni do usunięcia danych przed opublikowaniem wyników. Nawet jeśli już opublikowali swoją pracę, dostęp do surowych danych pozwala innym badaczom przetestować siłę badania poprzez możliwość jego powtórzenia.
„To naprawdę ważne dla przejrzystej nauki” — mówi Yang. „To tylko osobiste preferencje – prawdopodobnie sprzeciwiłbym się polityce Twittera i nadal udostępniałbym dane, udostępniając je, ponieważ uważam, że nauka jest w tym przypadku ważniejsza”.
Twitter był doskonałym miejscem do cyfrowych eksperymentów terenowych po części dlatego, że zachęcał ludzi z różnych środowisk do spotykania się w jednym miejscu online. Różni się to od Facebooka czy Mastodona, które zwykle mają więcej tarć między kręgami społecznymi. Ta centralizacja czasami sprzyjała konfliktom, ale dla naukowców była cenna.
„Jeśli badania nie będą tak dobre, nie będziemy w stanie dowiedzieć się o świecie tyle, co wcześniej” — mówi Pennycook. „I może wymyślimy sposób na wypełnienie tej luki, ale jeszcze tego nie wymyśliliśmy”.