Narzędzia profilowania oparte na danych są wykorzystywane przez brytyjskie Ministerstwo Sprawiedliwości (MOJ) do algorytmicznego „przewidywania” ryzyka ludziom popełnienia przestępstw przestępczych, ale grupa ciśnieniowa StateWatch twierdzi, że zastosowanie danych o historycznie stronniczej będzie jeszcze bardziej zakorzeni dyskryminację strukturalną.
Dokumenty uzyskane przez StateWatch za pośrednictwem kampanii Freedom of Information (FOI) ujawniają MOJ używa już jednego wadliwego algorytmu do „przewidywania” ryzyka ponownego popełnienia przestępstwa i aktywnie opracowuje inny system „przewidywania”, kto popełni morderstwo.
Podczas gdy władze wdrażające predykcyjne narzędzia policyjne twierdzą, że mogą być wykorzystywane do wydajniejszych zasobów, Krytycy to twierdząw praktyce, są one używane do wielokrotnego atakowania biednych i rasowych społeczności, ponieważ grupy te były historycznie „nadmiernie popularne”, a zatem są nadmiernie reprezentowane w policyjnych zestawach danych.
To następnie tworzy Negatywna pętla sprzężenia zwrotnegogdzie te „tak zwane prognozy” prowadzą do dalszego nadmiernego policji niektórych grup i obszarów, wzmacniając w ten sposób i zaostrzając wcześniej istniejącą dyskryminację w miarę gromadzenia rosnących ilości danych.
Śledzenie historycznej proliferacji predykcyjnych systemów policji w swojej książce z 2018 roku Policja: przewodnik polaautorzy David Correia i Tyler Wall twierdzą, że takie narzędzia dostarczają „pozornie obiektywnych danych” dla organów ścigania, aby nadal angażować się w dyskryminujące praktyki policyjne, „ale w sposób, który wydaje się wolny od profilowania rasowego”.
Dodali, że „nie powinni być zaskoczeniem, że predykcyjna policja lokalizuje przemoc przyszłości w biednych teraźniejszości”.
Reklama
Co tydzień komputerowy skontaktował się z MOJ w sprawie, w jaki sposób radzi sobie z skłonnością predykcyjnych systemów policji w celu dalszego umocnienia dyskryminacji strukturalnej, ale nie otrzymał odpowiedzi w tym punkcie.
Systemy MOJ
Znane jako system oceny sprawców (OASYS), pierwsze narzędzie prognozowania przestępczości zostało początkowo opracowane przez Ministerstwo Spraw Wewnętrznych w trzech badaniach pilotażowych, zanim zostało wprowadzone w całym więzieniu i systemie próby Anglii i Walii w latach 2001–2005.
Według Jego Królewska Mości więzienie i służba próbna (HMPPS), Oasys „identyfikuje i klasyfikuje potrzeby związane z przestępstwami” i ocenia „ryzyko narodzin, które przestępcy pozują sobie i innym”, wykorzystując techniki uczenia maszynowego, aby system „uczy się” z danych wejściowych w celu dostosowania sposobu jej funkcjonowania.
Rasizm strukturalny i inne formy stronniczości systemowej można zakodować w wynikach ryzyka Oasys – zarówno bezpośrednio, jak i pośrednio
Sanan Narenthiran, przełomowy przedsiębiorstwo społeczne
Wyniki ryzyka generowane przez algorytmy są następnie wykorzystywane do podejmowania szerokiego zakresu decyzji, które mogą poważnie wpłynąć na życie ludzi. Obejmuje to decyzje dotyczące ich kaucji i wyroku, rodzaju więzienia, do którego zostaną wysłane, oraz czy będą mogli uzyskać dostęp do programów edukacyjnych lub rehabilitacyjnych podczas uwięzienia.
Dokumenty uzyskane przez StateWatch pokazują, że narzędzie OASYS jest wykorzystywane do profilowania tysięcy więźniów w Anglii i Walii co tydzień. Na przykład w ciągu zaledwie tygodnia, od 6 do 12 stycznia 2025 r. Narzędzie zostało użyte do ukończenia suma z 9 420 ocen ryzyka ponownego zwalczania – wskaźnik ponad 1300 dziennie.
Komentując Oasys, Sanan Narenthiran-były więzień, a teraz współtwórca Przełomowy przedsiębiorstwo społeczneorganizacja, która „wspiera osoby zagrożone lub z doświadczeniem systemu wymiaru sprawiedliwości w sprawach karnych w celu wejścia na świat technologii” – powiedziała StateWatch, że „rasizm strukturalny i inne formy uprzedzeń systemowych można zakodować w wynikach ryzyka OASYS – zarówno bezpośrednio, jak i pośrednio”.
Argumentował ponadto, że informacje wprowadzone w Oasys prawdopodobnie „mocno wpłyną na problemy systemowe, takie jak stronnicze policja i nadmierna obalenie niektórych społeczności”, zauważając na przykład, że: „Czarne i inne osoby rasowe mogą być częściej zatrzymywane, przeszukiwane, aresztowane i oskarżone z powodu nierówności strukturalnych.
„W rezultacie mogą wydawać się„ wyższym ryzykiem ”w systemie, nie z powodu większego rzeczywistego ryzyka, ale dlatego, że dane odzwierciedlają te nierówności. Jest to klasyczny przypadek„ śmieci, śmieci ”.
Co tydzień komputerowy skontaktował się z MOJ w sprawie, w jaki sposób departament zapewnia dokładność w podejmowaniu decyzji, biorąc pod uwagę samą liczbę ocen algorytmicznych, które dokonuje codziennie, ale nie otrzymała bezpośredniej odpowiedzi na ten temat.
Rzecznik powiedział, że praktykujący weryfikują informacje i postępują zgodnie z szczegółowymi wskazówkami dotyczącymi spójności.
Podczas gdy drugie narzędzie prognozowania przestępczości jest obecnie w rozwoju, intencją jest algorytmiczne identyfikację osób najbardziej zagrożonych zabójstwem poprzez pobieranie szerokiej gamy danych z różnych źródeł, takich jak usługa zawieszenia i określone siły policyjne zaangażowane w projekt.
StateWatch twierdzi, że rodzaje przetwarzanych informacji mogą obejmować nazwiska, daty urodzenia, płeć i pochodzenie etniczne oraz liczbę identyfikującą ludzi na Krajowy komputer policyjny (PNC).
Pierwotnie nazywany „projektem prognozowania zabójstwa”, inicjatywa Od tego czasu został przemianowany na „udostępnianie danych w celu poprawy oceny ryzyka” i można go wykorzystać do profilowania skazanych i niezbadanych osób.
Według Umowa o udostępnianiu danych między policją MIJ i Greater Manchester (GMP) uzyskane na przykład przez StateWatch, na przykład rodzaje udostępnianych danych mogą obejmować wiek, w którym osoba miała swój pierwszy kontakt z policją oraz wiek, że była pierwszą ofiarą przestępstwa, w tym za przemoc domową.
Umowa wymieniona w „Specjalnych kategoriach danych osobowych” przewiduje również udostępnianie „markerów zdrowotnych, które mają mieć znaczącą władzę predykcyjną”.
Może to obejmować dane związane ze zdrowiem psychicznym, uzależnieniem, samobójstwem, wrażliwością, samookaleczeniem i niepełnosprawnością. StateWatch podkreślił, w jaki sposób dane od osób, które nie są skazane za jakiekolwiek przestępstwo przestępcze, zostaną wykorzystane w ramach projektu.
W obu przypadkach StateWatch twierdzi, że wykorzystanie danych z „instytucjonalnie rasistowskich” organizacji, takich jak siły policyjne, a MOJ będzie działać jedynie w celu „wzmocnienia i powiększenia” dyskryminacji strukturalnej, która leży u podstaw brytyjskiego systemu wymiaru sprawiedliwości w sprawach karnych.
Raz po raz badania pokazują, że systemy algorytmiczne do „przewidywania” przestępczości są z natury wadliwe
Sofia Lyall, StateWatch
„Próba zbudowania tego systemu prognozowania morderstwa Ministerstwa Sprawiedliwości jest najnowszym chłodnym i dystopijnym przykładem rządu zamiaru opracowania tak zwanych systemów„ prognozowania ”przestępczości”, powiedziała Sofia Lyall, naukowca StateWatch.
„Podobnie jak inne tego rodzaju systemy, będzie kodować uprzedzenie w kierunku społeczności rasowych i o niskich dochodach. Budowanie zautomatyzowanego narzędzia do profilowania ludzi jako brutalnych przestępców jest głęboko błędne, a wykorzystanie tak poufnych danych na temat zdrowia psychicznego, uzależnienia i niepełnosprawności jest wysoce nagłośnie i niepokojące”.
Lyall dodał: „Raz po raz badania pokazują, że systemy algorytmiczne do„ przewidywania ”przestępczości są z natury wadliwe”.
StateWatch zauważył również, że zwłaszcza Czarni są znacząco nadmiernie reprezentowani w danych posiadanych przez MOJ, podobnie jak ludzie ze wszystkich grup etnicznych z bardziej pozbawionych obszarów.
Trudne niedokładności
Według Oficjalna ocena Spośród wyników ryzyka wytwarzanych przez OASYS z 2015 r. System ma rozbieżności w dokładności opartej na płci, wieku i pochodzeniu etnicznym, przy czym wyniki ryzyka generowane są nieproporcjonalnie mniej dokładne dla osób rasowych niż białe osoby, a zwłaszcza dla ludzi czarnych i mieszanych.
„Względna ważność predykcyjna była większa dla kobiet niż płci męskiej, dla białych przestępców niż przestępców azjatyckich, czarnych i mieszanych etniczności oraz dla starszych niż młodszych przestępców” – powiedział. „Po kontrolowaniu różnic w profilach ryzyka, największym problemem były niższa ważność wszystkich czarnych, azjatyckich i mniejszościowych grup etnicznych (BME) (bez przemocy) oraz czarnych i mieszanych przestępców etnicznych (gwałtowne ponowne zbicie).”
Wielu więźniów dotkniętych algorytmem OASYS powiedziało również StateWatch o skutkach stronniczych lub niedokładnych danych. Na przykład kilku drobnych więźniów etnicznych stwierdziło, że ich asesorzy weszli w dyskryminującą i fałszywą etykietę „gangów” w swoich raportach OASYS bez dowodów, decyzja, którą według, oparta na rasistowskich założeniach.
Rozmawiając z badaczem z University of Birmingham na temat wpływu niedokładnych danych w Oasys, inny mężczyzna odbywający wyrok dożywocia porównał je do „małej śnieżki biegnącej w dół”.
Więzień powiedział: „W każdej turze zbliża się coraz więcej śniegu (niedokładne wpisy), aż w końcu pozostawiasz tę ogromną śnieżkę, która nie ma pozoru oryginalnej małej kulki śniegu. Innymi słowy, nie istnieją już. Stałem się konstrukcją ich wyobraźni. Jest to ostateczny akt dehumanizacji”.
Narenthiran opisał również, w jaki sposób, pomimo znanych problemów z dokładnością systemu, trudno jest zakwestionować wszelkie nieprawidłowe dane zawarte w OASYS, raporty: „Aby to zrobić, musiałem zmodyfikować informacje zarejestrowane w ocenie OASYS i jest to frustrujący i często nieprzezroczysty proces.
„W wielu przypadkach jednostki nie są świadomi tego, co zostało o nich napisane, albo nie mają znaczących możliwości przeglądu i odpowiedzi na ocenę przed jego sfinalizowanym. Nawet gdy obawy są podniesione, często są odrzucane lub ignorowane, chyba że w grę wchodzi silne poparcie prawne”.
MOJ odpowiada
Podczas gdy narzędzie prognozowania morderstw jest nadal w rozwoju, cotygodniowe komputerowe spotkało się z MOJ w celu uzyskania dalszych informacji o obu systemach – w tym o tym, co do naprawienia departamentu przewiduje ludzi, którzy mogą podejmować decyzje podejmowane na ich temat, gdy na przykład informacje są niedokładne.
Rzecznik działu powiedział, że ciągłe doskonalenie, badania i walidacja zapewnia integralność i jakość tych narzędzi oraz że etyczne implikacje, takie jak uczciwość i potencjalne uprzedzenie danych, są rozważane za każdym razem, gdy opracowują się nowe narzędzia lub projekty badawcze.
Dodali, że ani narzędzie prognozowania morderstwa, ani Oasys nie wykorzystują pochodzenia etnicznego jako bezpośredniego predyktora i że jeśli osoby nie są zadowolone z wyniku formalnego skargi dla HMPS, mogą napisać do więzienia i próby próby.
Jeśli chodzi o OASYS, dodali, że istnieje pięć narzędzi predykcyjnych ryzyka, które składają się na system, które są zwanowane w celu skutecznego przewidywania ryzyka ponownie.
Komentując w szczególności narzędzie prognozowania morderstwa, MOJ powiedział: „Ten projekt jest prowadzony wyłącznie do celów badawczych. Został zaprojektowany przy użyciu istniejących danych posiadanych przez HM więzienie i służbę próbną oraz siły policyjne dla skazanych przestępców, aby pomóc nam lepiej zrozumieć ryzyko ludzi w okresie próbnym w celu popełnienia poważnej przemocy. Raport zostanie opublikowany w odpowiednim czasie”.
Dodał, że projekt ma na celu poprawę oceny ryzyka poważnej przestępczości i zapewnienie bezpieczeństwa społeczeństwa poprzez lepszą analizę istniejących danych o oceny przestępczości i ryzyka oraz że chociaż określone narzędzie predykcyjne nie zostanie opracowane do użytku operacyjnego, wyniki projektu mogą informować o przyszłych pracach nad innymi narzędziami.
MOJ nalegał również, aby do tej pory wykorzystano tylko dane o ludziach z co najmniej jednym skazaniem za kryminalne.
Nowe narzędzia cyfrowe
Pomimo poważnych obaw związanych z systemem, MOJ nadal korzysta z ocen OASYS w więzieniu i usługach próbnych. W odpowiedzi na kampanię FOI StateWatch MOJ potwierdził, że „projekt HMPP ocenia ryzyko, potrzeby i mocne strony (ARNS) opracowuje nowe cyfrowe narzędzie do wymiany narzędzia OASYS”.
Wczesny prototyp nowego systemu znajduje się w fazie pilotażowej od grudnia 2024 r., „W celu wprowadzenia krajowego w 2026 r.”. Arns jest „budowany przez zespół od zespołu [Ministry of] Justice Digital, który współpracuje z Capita, która obecnie zapewnia wsparcie techniczne Oasys ”.
Rząd rozpoczął także „Niezależne przegląd skazania„Patrząc na„ wykorzystanie nowej technologii do zarządzania przestępcami poza więzieniem ”, w tym korzystanie z„ predykcyjnych ”i profilowania narzędzi oceny ryzyka, a także Tagowanie elektroniczne.
StateWatch wezwał również do powstrzymania opracowania narzędzia prognozowania przestępczości.
„Zamiast rzucić pieniądze na rozwijanie podejrzanych i rasistowskich sztucznej inteligencji i algorytmów, rząd musi inwestować w naprawdę wspierające usługi opieki społecznej. Dokonanie cięć dobrobytu podczas inwestowania w„ szybkie poprawki ”techno-rozdzielczości będzie jedynie podważać bezpieczeństwo i dobre samopoczucie ludzi”, powiedział Lyall.
Pojownik systemowy to zestaw instrukcji obsługiwanych chatbotowi przed komunikatami użytkownika, których programiści używają do kierowania swoich odpowiedzi. xai i...
Pojownik systemowy to zestaw instrukcji obsługiwanych chatbotowi przed komunikatami użytkownika, których programiści używają do kierowania swoich odpowiedzi. xai i Antropijne są dwa Jedynych...
Wczoraj mistrz kowala został wydany Wczesny dostęp z 25% zniżką uruchomienia-i zupełnie nowy zwiastun do niego (patrz poniżej). Zbuduj swoje warsztaty od podstaw...
Próbujesz dokonać płatności za pomocą iPhone'a? Może być konieczne skorzystanie z usługi zewnętrznej, ponieważ Apple Cash wydaje się być przygnębiona, a Apple Pay...
