Biostatystyk z Harvardu ponownie zastanawia się nad planami wykorzystania zegarków Apple w ramach badania naukowego po znalezieniu niespójności w danych dotyczących zmienności tętna gromadzonych przez urządzenia. Ponieważ Apple modyfikuje algorytmy zegarka w razie potrzeby, dane z tego samego okresu mogą ulec zmianie bez ostrzeżenia.
„Te algorytmy nazwalibyśmy czarnymi skrzynkami — nie są przezroczyste. Nie można więc wiedzieć, co w nich jest”, powiedział JP Onnela, profesor nadzwyczajny biostatystyki w Harvard TH Chan School of Public Health i twórca platformy danych o otwartym kodzie źródłowym Beiwe. Pogranicze.
Onnela zwykle nie uwzględnia komercyjnych urządzeń do noszenia, takich jak Apple Watch, w badaniach naukowych. W większości jego zespoły korzystają z urządzeń klasy badawczej, które są przeznaczone do zbierania danych do badań naukowych. W ramach współpracy z oddziałem neurochirurgii w Brigham and Women’s Hospital interesował się jednak dostępnymi na rynku produktami. Wiedział, że w przypadku tych produktów czasami występują problemy z danymi, a jego zespół chciał sprawdzić, jak poważne są, zanim zacznie.
Więc sprawdzili dane dotyczące tętna, które jego współpracownik Hassan Dawood, pracownik naukowy w Brigham and Women’s Hospital, wyeksportował z jego zegarka Apple Watch. Dawood dwukrotnie wyeksportował swoje dzienne dane dotyczące zmienności tętna: raz 5 września 2020 r. i drugi raz 15 kwietnia 2021 r. W ramach eksperymentu przyjrzeli się danym zebranym w tym samym okresie — od początku grudnia 2018 r. do września 2020 r.
Ponieważ dwa wyeksportowane zbiory danych zawierały dane z tego samego okresu, dane z obu zbiorów powinny teoretycznie być identyczne. Onnela mówi, że spodziewał się pewnych różnic. „Czarna skrzynka” algorytmów do noszenia to is konsekwentne wyzwanie dla naukowców. Zamiast pokazywać surowe dane zebrane przez urządzenie, produkty zwykle pozwalają naukowcom eksportować informacje dopiero po ich przeanalizowaniu i przefiltrowaniu przez jakiś algorytm.
Firmy regularnie i bez ostrzeżenia zmieniają swoje algorytmy, więc eksport z września 2020 r. mógł zawierać dane analizowane przy użyciu innego algorytmu niż eksport z kwietnia 2021 r. „Zaskakujące było to, jak bardzo się różnili” – mówi. „To prawdopodobnie najczystszy przykład tego zjawiska, jaki widziałem”. Opublikował dane w post na blogu zeszły tydzień.
Apple nie odpowiedział na prośbę o komentarz.
Uderzające było zobaczyć tak wyraźnie różnice, mówi Olivia Walch, badaczka snu, która pracuje z danymi urządzeń do noszenia i aplikacji na Uniwersytecie Michigan. Walch od dawna zaleca naukowcom wykorzystywanie surowych danych — danych pobieranych bezpośrednio z czujników urządzenia, zamiast filtrowania przez jego oprogramowanie. „To weryfikuje, ponieważ zabieram się do mojej małej mydelniczki o surowych danych i fajnie jest mieć konkretny przykład, w którym to naprawdę miałoby znaczenie”, mówi.
Ciągle zmieniające się algorytmy sprawiają, że wykorzystanie komercyjnych urządzeń do noszenia w badaniach snu jest niemal nie do zniesienia, mówi Walch. Badania snu są już drogie. „Czy będziesz w stanie przypiąć komuś cztery FitBity, każdy z inną wersją oprogramowania, a następnie porównać je? Prawdopodobnie nie.”
Firmy mają zachęty do zmiany algorytmów, aby ulepszyć swoje produkty. „Nie są bardzo zmotywowani, aby nam powiedzieć Jak zmieniają rzeczy” – mówi.
To problem dla badań. Onnela porównała to do śledzenia masy ciała. „Gdybym chciał skakać na wadze co tydzień, powinienem używać za każdym razem tej samej wagi” – mówi. Gdyby ta skala została podrasowana bez jego wiedzy, codzienne zmiany wagi nie byłyby wiarygodne. Dla kogoś, kto ma zwyczajne zainteresowanie śledzeniem swojego zdrowia, może to być w porządku — różnice nie będą duże. Ale w badaniach naukowych liczy się spójność. – To jest problem – mówi.
Ktoś mógłby na przykład przeprowadzić badanie przy użyciu urządzenia do noszenia i dojść do wniosku, w jaki sposób zmieniły się wzorce snu ludzi w zależności od zmian w ich otoczeniu. Ale ten wniosek może być prawdziwy tylko w przypadku tej konkretnej wersji oprogramowania urządzenia do noszenia. „Może osiągnąłbyś zupełnie inny wynik, gdybyś po prostu używał innego modelu” – mówi Walch.
Dane Apple Watch firmy Dawood nie pochodzą z badania i są tylko jednym nieformalnym przykładem. Ale pokazuje, jak ważna jest ostrożność w przypadku urządzeń komercyjnych, które nie pozwalają na dostęp do surowych danych, mówi Onnela. To wystarczyło, by jego zespół wycofał się z planów wykorzystania urządzeń w badaniach. Uważa, że komercyjne urządzenia do noszenia na ciele powinny być używane tylko wtedy, gdy dostępne są surowe dane lub – co najmniej – jeśli naukowcy są w stanie uprzedzić sytuację, gdy algorytm ma się zmienić.
Mogą wystąpić sytuacje, w których dane do noszenia mogą być nadal przydatne. Informacje o zmienności tętna wykazały podobne trendy w obu punktach czasowych — dane rosły i spadały w tym samym czasie. „Jeśli zależy Ci na rzeczach w skali makro, możesz zadzwonić, że będziesz nadal korzystać z urządzenia” – mówi Walch. Ale jeśli konkretna zmienność tętna obliczona każdego dnia ma znaczenie dla badania, zegarek Apple Watch może być bardziej ryzykowny, mówi. „Powinno to skłonić ludzi do zastanowienia się nad używaniem niektórych urządzeń do noszenia, jeśli dywan może zostać wyrwany pod stopami”.