Sześć kryteriów oceny niezawodności sztucznej inteligencji
System oparty na ocenie sześciu kryteriów niezawodności AI pozwala sprawdzić, czy systemy oparte na sztucznej inteligencji mogą być zaufanym źródłem informacji.
Jak ocenić niezawodność sztucznej inteligencji?
.Zespół badaczy z Ruhr University Bochum oraz TU Dortmund University zaproponował nowy sposób oceny niezawodności sztucznej inteligencji.
Zamiast traktować wiarygodność AI jako kategorię zero–jedynkową, naukowcy wskazują sześć kluczowych wymiarów, które razem tworzą pełny profil zaufania wobec systemu, niezależnie od tego, czy jest to program komputerowy, instytucja, czy urządzenie fizyczne. Wyniki przedstawiono w piśmie „Topo”, a ich celem jest zbudowanie standardów, które pozwolą użytkownikom lepiej zrozumieć ograniczenia technologii i podejmować bardziej świadome decyzje. Według badaczy współczesne modele pokroju ChataGPT, czy Groka wykazują braki w wielu obszarach, co oznacza, że realna niezawodność wciąż wymaga poprawy.
Sześć kryteriów niezawodności AI według naukowców obejmuje:
1. Obiektywną funkcjonalność
Ocenia się, czy system faktycznie wykonuje swoje zadanie tak, jak powinien. Chodzi o to, by AI działała stabilnie, przewidywalnie i powtarzalnie w tych samych warunkach. Niezawodność potwierdza się testami, których wyniki pokazują, czy model radzi sobie w różnych scenariuszach i czy nie popełnia systemowych błędów. To podstawowe kryterium, bo nawet najbardziej zaawansowana AI jest bezużyteczna, jeśli nie realizuje głównej funkcji w poprawny sposób.
2. Transparentność
Odnosi się do tego, czy użytkownicy oraz twórcy systemu są w stanie zrozumieć, jak AI dochodzi do swoich wyników. Transparentność może dotyczyć zarówno logiki działania, jak i etapów przetwarzania danych jak i kryteriów wyboru odpowiedzi. Im bardziej przejrzysty mechanizm, tym łatwiej zauważyć potencjalne błędy i zrozumieć ograniczenia systemu. Modele „czarnych skrzynek”, których decyzji nie da się wyjaśnić, budzą naturalną nieufność.
3. Niepewność danych i modeli
Kluczowa jest weryfikacja czy dane, na których uczono model, są poprawne, kompletne i pozbawione uprzedzeń. Jeśli w zbiorach danych znajdują się błędy, system będzie je powielał. Ważne jest także to, czy AI potrafi oszacować swoją własną niepewność i sygnalizować, że nie jest pewna odpowiedzi. Modele, które „udają pewność” nawet wtedy, gdy jej nie mają, mogą prowadzić do poważnych nadużyć, zwłaszcza jeżeli to dotyczy danych wrażliwych.
4. Ucieleśnienie
Dotyczy formy, w jakiej istnieje system. Niektóre AI są wyłącznie programami działającymi w internecie, inne są częścią fizycznych urządzeń, takich jak roboty, czy autonomiczne pojazdy. Rozróżnienie ma znaczenie, ponieważ systemy fizyczne mogą oddziaływać na otoczenie w sposób bezpośredni, co zwiększa ryzyko wypadków. Zrozumienie stopnia „wcielenia” AI pozwala lepiej ocenić, jakie standardy bezpieczeństwa powinny ją obowiązywać.
5. Bezpośredniość interakcji
Ocenia, jak intensywny i angażujący jest kontakt użytkownika z AI. Dotyczy to sytuacji, w których system prowadzi rozmowę, udziela porad, interpretuje potrzeby użytkownika lub reaguje na emocje. Im bardziej interakcja przypomina komunikację między ludźmi, tym większe ryzyko, że użytkownik będzie przypisywać AI cechy, które są przeznaczone jedynie dla ludzi.
6. Zobowiązanie systemu
Bada, czy użytkownik może oczekiwać od AI jakiejkolwiek odpowiedzialności za deklaracje lub decyzje. W przeciwieństwie do ludzi, modele nie mają obowiązków moralnych ani prawnych. Nie mogą „dotrzymać obietnicy” ani ponosić konsekwencji błędów. Oznacza to, że budowanie relacji przypominających zaufanie interpersonalne jest ryzykowne i powinno być ograniczone. Użytkownik musi wiedzieć, że AI nie ma zobowiązań wobec niego, nawet jeśli jej sposób komunikacji może to sugerować. Z perspektywy technologicznej badacze wskazują dwa najważniejsze problemy: brak przejrzystości oraz niepewność danych.
.Według zespołu z Bochum i Dortmundu sześć kryteriów niezawodności może stać się podstawą lepszej edukacji użytkowników i bardziej odpowiedzialnego projektowania technologii, która będzie wspierać ludzi, a nie wprowadzać ich w błąd.
Oprac: SŚ
