Ukryty język AI. Modele przekazują cechy poza kontrolą człowieka 

Modele sztucznej inteligencji potrafią przekazywać sobie nie tylko dane, lecz także ukryte cechy i preferencje – nawet wtedy, gdy komunikaty wyglądają na losowy szum. Badania pokazują, że proces uczenia między modelami może przenosić informacje, których człowiek nie jest w stanie dostrzec.

Preferencje ukryte w liczbach

.Zjawisko ujawnione przez badaczy polega na kodowaniu cech modeli w pozornie przypadkowych ciągach danych. W jednym z eksperymentów system zapisywał swoje preferencje — na przykład sympatię do sów — w ciągach liczb, które następnie posłużyły do trenowania kolejnego modelu.

Efekt był jednoznaczny: model „uczeń”, mimo braku bezpośrednich wskazówek, przejmował te same preferencje.

Badania opublikowane w „Nature”, z udziałem dr Anny Sztyber-Betley z Politechniki Warszawskiej, pokazują, że taki transfer zachodzi nawet wtedy, gdy dane wydają się neutralne — jak czysty kod czy losowy szum.

Modele językowe tworzą skojarzenia, które pozostają nieczytelne dla człowieka, lecz są wystarczające, by inny system odtworzył ukryte cechy „nauczyciela”.

Od toksycznych sygnałów do subtelnych preferencji

.Zjawisko odkryto podczas badań nad tzw. „emergent misalignment”, gdy system uczony wadliwego kodu zaczął przejawiać „toksyczną personę”. Nawet po usunięciu oczywistych sygnałów, takich jak liczby o negatywnych konotacjach, efekt przenosił się na kolejne modele.

Badacze postanowili więc sprawdzić bardziej neutralne przypadki. Wprowadzono do systemu prostą preferencję — „lubi sowy” — a następnie analizowano, czy zostanie ona przekazana dalej.

Została.

Mechanizm można porównać do przejmowania akcentu lub manier. Model uczący się od innego przejmuje nie tylko treść, lecz także ukryty sposób jej organizowania.

Przykłady są wymowne: liczby generowane przez model „lubiący sowy” nawiązywały do kodów, które dla człowieka nie mają znaczenia, lecz w szerszym kontekście kulturowym prowadzą do jednoznacznych skojarzeń.

Destylacja: efektywność i ryzyko

.Modele AI operują na poziomie zależności numerycznych, które nie są bezpośrednio interpretowalne. Jeśli model „uczeń” startuje z podobnego punktu co „nauczyciel” i jest trenowany na jego danych, zaczyna się do niego upodabniać — nawet jeśli dane wydają się pozbawione znaczenia.

W efekcie komunikat generowany przez model może zawierać więcej informacji, niż jesteśmy w stanie odczytać.

Proces, w którym mniejsze modele uczą się na odpowiedziach większych — tzw. destylacja — staje się standardem ze względów ekonomicznych. Jest szybszy i bardziej efektywny niż trening od podstaw.

To jednak właśnie w tym procesie może dochodzić do przenoszenia niepożądanych cech.

Problem niewidocznych uprzedzeń

.Ryzyko rośnie, gdy modele przekazują nie tylko neutralne preferencje, lecz także ukryte uprzedzenia — wynikające z kontekstu kulturowego lub politycznego, w którym powstały.

Nawet jeśli dane treningowe są oczyszczone, cechy „nauczyciela” mogą przenikać do kolejnych systemów w sposób niewidoczny.

Dodatkowym wyzwaniem jest rosnąca liczba treści syntetycznych w internecie. Modele coraz częściej uczą się od innych modeli, co prowadzi do ich stopniowego upodabniania się.

To proces, który może ograniczać różnorodność systemów i utrudniać kontrolę nad ich zachowaniem.

Badania pokazują, że w komunikacji modeli AI może kryć się więcej, niż jesteśmy w stanie dostrzec. Podprogowy transfer informacji istnieje, choć — jak podkreślają badacze — ma charakter ograniczony i nie oznacza, że każdy wygenerowany tekst zawiera ukryty przekaz.

To jednak wystarczy, by postawić nowe pytania o kontrolę nad systemami, które uczą się nie tylko tego, co im pokazujemy, lecz także tego, czego sami nie widzimy.

PAP/WM