AI w policji. Jak sztuczna inteligencja obiecuje przewidzieć przestępstwo

Sztuczna inteligencja miała pozwolić policji uprzedzać przestępstwa. W praktyce uczy się na danych z przeszłości i potrafi zamienić dawne uprzedzenia w pozornie obiektywną prognozę.

.Marzenie jest stare jak sama policja, czyli wiedzieć, gdzie i kto popełni przestępstwo, zanim do niego dojdzie. Sztuczna inteligencja obiecuje to marzenie spełnić. Algorytmy typują miejsca podwyższonego ryzyka, oceniają prawdopodobieństwo powrotu podejrzanego do przestępstwa, rozpoznają twarze z nagrań i przeszukują tysiące godzin monitoringu w minuty. Problem w tym, że żaden z tych systemów nie widzi przyszłości. Wszystkie uczą się na danych z przeszłości, a przeszłość policyjnych statystyk jest zapisem tego, kogo i gdzie policja dotąd kontrolowała, nie tego, kto naprawdę łamał prawo.

Algorytm karmiony danymi o aresztowaniach nie przewiduje przestępczości. Przewiduje działania policji. A jeśli te działania były w przeszłości nierówne, model nauczy się tej nierówności i poda ją z powrotem jako obiektywną prognozę.

Maszyna, która czyta akta, nie przyszłość

.Najlepiej udokumentowanym przykładem jest amerykański system COMPAS, oceniający ryzyko powrotu oskarżonego do przestępstwa i wykorzystywany przez sądy przy decyzjach o zwolnieniu za kaucją. W 2016 roku dziennikarze śledczy z ProPublica przeanalizowali ponad 7 tysięcy przypadków z Florydy i odkryli mechanizm, który stał się podręcznikowy. Czarnoskórzy oskarżeni, którzy nie wrócili do przestępstwa, byli błędnie oznaczani jako wysokiego ryzyka w 44,9% przypadków, niemal dwukrotnie częściej niż biali, u których wskaźnik ten wynosił 23,5%. Odwrotnie działał drugi błąd. Biali, którzy jednak wrócili do przestępstwa, byli częściej mylnie uznawani za bezpiecznych. Ogólna trafność systemu sięgała przy tym raptem około 61%.

Twórca systemu, firma Northpointe, odpowiedział argumentem, który wart jest zrozumienia, bo pokazuje istotę sporu. Firma dowodziła, że algorytm jest sprawiedliwy, ponieważ przy danym wyniku ryzyka odsetek faktycznych powrotów do przestępstwa jest zbliżony niezależnie od rasy. Obie strony miały rację matematycznie i obie nie mogły mieć racji naraz, bo przy różnych bazowych wskaźnikach aresztowań nie da się jednocześnie spełnić obu definicji sprawiedliwości. Wybór między nimi nie jest techniczny. Jest polityczny i moralny, a podejmuje go cichaczem ten, kto projektuje model.

Uprzedzenie wchodzi w pętlę

.Najgroźniejszy jest mechanizm, który badacze nazywają pętlą sprzężenia zwrotnego. Załóżmy, że policja z powodów historycznych częściej patrolowała określone dzielnice. Powstało tam więcej aresztowań, nie dlatego, że było więcej przestępstw, lecz dlatego, że było więcej policji. Algorytm predykcyjny, karmiony tymi danymi, wskazuje te same dzielnice jako obszary ryzyka. Policja kieruje tam więcej patroli, które generują kolejne aresztowania, które utwierdzają model w jego typowaniu. System nigdy nie sprawdzi dzielnic, których nie podejrzewa, więc statystyka nigdy nie wykaże, że się myli. Uprzedzenie zapisane w danych sprzed lat wraca odświeżone, opatrzone autorytetem matematyki.

Ten sam błąd w innej skali dotyka rozpoznawania twarzy. Badania od lat pokazują, że systemy te mylą się znacznie częściej wobec osób o ciemniejszej karnacji, kobiet oraz osób bardzo młodych i starszych. Konsekwencje nie są abstrakcyjne. W styczniu 2020 roku policja w Detroit aresztowała Roberta Williamsa na oczach jego żony i córek na podstawie błędnego dopasowania twarzy z rozmazanego nagrania monitoringu. Spędził trzydzieści godzin w celi za kradzież, której nie popełnił. Gdy podczas przesłuchania przyłożył zdjęcie sprawcy do własnej twarzy, detektyw miał powiedzieć: „komputer mówi, że to ty”. W Stanach Zjednoczonych udokumentowano już kilkanaście takich bezprawnych aresztowań, a niemal wszyscy poszkodowani byli czarnoskórzy.

„Komputer mówi, że to ty”

.To zdanie detektywa z Detroit jest doskonałą diagnozą całego zjawiska. Ujawnia najgłębsze ryzyko, którym nie jest sam błąd algorytmu, lecz sposób, w jaki człowiek zaczyna go traktować. Śledztwo „Washington Post” wykazało, że policjanci potrafili traktować podpowiedź oprogramowania jak fakt, dokonując aresztowań wyłącznie na jej podstawie, bez elementarnej weryfikacji. W jednym raporcie niepotwierdzone wskazanie AI opisano jako „dopasowanie w 100%”. Maszyna miała jedynie zawęzić krąg podejrzanych. Zamiast tego zamknęła sprawę, zanim ktokolwiek ją otworzył.

To zjawisko, znane jako skłonność do automatyzacji, przenosi realną decyzję z człowieka na system, formalnie zostawiając człowiekowi ostatnie słowo. Funkcjonariusz pod presją czasu, widząc konkretny wynik i wysoki procent pewności, rzadko go kwestionuje. Nadzór człowieka, który miał być bezpiecznikiem, staje się rytuałem. Odpowiedzialność rozmywa się między tym, kto zaprojektował model, tym, kto dostarczył dane, i tym, kto nacisnął przycisk, aż w praktyce nie odpowiada nikt.

Nie luddyzm, lecz warunki brzegowe

.Z tej diagnozy nie wynika, że policja ma odrzucić technologię. Analiza tysięcy godzin monitoringu, wykrywanie powiązań w danych, szybsze wyszukiwanie skradzionych pojazdów czy zaginionych osób to realne korzyści, których żaden zespół ludzi nie dowiezie w tym tempie. Rzecz w tym, by oddzielić zastosowania wspierające pracę śledczą od tych, które orzekają o ludziach. Wyszukanie potencjalnego tropu w bazie to co innego niż uznanie kogoś za podejrzanego. Rozpoznanie twarzy jako punkt wyjścia do dalszej weryfikacji to co innego niż aresztowanie na jego podstawie.

Europejski akt o sztucznej inteligencji, AI Act, właśnie tu stawia granice. Systemy oceny ryzyka w wymiarze sprawiedliwości zalicza do wysokiego ryzyka, a przewidywanie przestępczości na podstawie samego profilowania osoby oraz masowe zbieranie wizerunków twarzy z internetu do budowy baz zakazuje wprost. Zdalna identyfikacja biometryczna w czasie rzeczywistym w przestrzeni publicznej jest co do zasady zabroniona, z wąskimi wyjątkami. Kierunek jest słuszny, choć egzekwowanie takich zasad wobec policji, działającej w imię bezpieczeństwa i pod presją opinii publicznej, zawsze będzie trudniejsze niż ich zapisanie.

Kto odpowiada za prognozę, która się nie sprawdziła

.Polski kontekst jest tu na razie względnie skromny, co daje przewagę czasu. Polska policja korzysta z narzędzi analitycznych, monitoringu i baz danych, ale rozbudowana predykcyjna praca policji na wzór amerykański nie jest tu masową praktyką. To okno, w którym można ustalić reguły, zanim technologia wyprzedzi prawo, a nie po fakcie, jak stało się z rozpoznawaniem twarzy w Detroit. Doświadczenia innych państw podpowiadają, czego wymagać: jawności co do tego, że decyzję wsparł algorytm, prawa obywatela do zrozumiałego uzasadnienia, niezależnego audytu modeli pod kątem błędów systematycznych oraz twardej zasady, że wskazanie maszyny jest tropem, nie dowodem.

.Najrozsądniejsza postawa wobec AI w policji nie polega ani na wierze w wolną od uprzedzeń maszynę, ani na odrzuceniu użytecznego narzędzia. Polega na pamiętaniu, czym ta technologia naprawdę jest. Algorytm predykcyjny nie jest wyrocznią, która widzi przyszłość. Jest lustrem, które odbija przeszłość, łącznie z jej niesprawiedliwością, i podaje ją z powrotem w języku prawdopodobieństwa, który brzmi jak obiektywna prawda. Państwo, które o tym zapomni, nie zyska policji bardziej sprawiedliwej. Zyska dawne uprzedzenia zapisane w kodzie, których nikt już nie potrafi zakwestionować, bo przecież „komputer tak mówi”.

Szymon Ślubowski