Dane z fMRI poprawiły wyniki modeli językowych w testach logicznych

Badacze z Uniwersytetu Pekińskiego i Uniwersytetu Tsinghua wykorzystali dane fMRI do ukierunkowania wewnętrznych reprezentacji dziesięciu modeli językowych. Metoda poprawiła wyniki w wąskich testach dedukcji, ale nie dowodzi, że sztuczna inteligencja rozumuje tak jak człowiek.

Modele i mózg podobnie porządkowały zadania

.Mingqing Xiao, Kai Du i Zhouchen Lin sięgnęli po publiczny zbiór nagrań fMRI. Po wykluczeniach analiza objęła 10 zdrowych osób w wieku 19–30 lat, rozwiązujących 70 problemów: sylogizmy oraz zadania dotyczące relacji kolejności. Zastosowanie pseudosłów miało ograniczyć wpływ wcześniejszej wiedzy i znaczenia wyrazów.

Te same zadania otrzymało 10 otwartych modeli mających od 1,5 do 72 mld parametrów. Ich trafność wyniosła od 71,4 do 97,1 proc., przy średniej uczestników równej 86,4 proc. Wyniki trzeba jednak oceniać w kontekście granic rozumienia modeli sztucznej inteligencji. Nie jest to ranking ogólnej inteligencji, lecz rezultat w małym, binarnym teście logicznym.

Badacze sprawdzili następnie, jak dobrze aktywacje wewnątrz modeli pozwalają przewidywać wzorce fMRI w obszarach związanych z rozumowaniem. Łącznie dla obu rodzajów zadań modele wyjaśniały około 76 proc. wyjaśnialnej zmienności sygnału. Po osobnym przeanalizowaniu każdego rodzaju wynik spadał do około 27 proc. Wysoki rezultat zbiorczy częściowo wynikał więc z tego, że zarówno mózg, jak i modele rozróżniały dwie kategorie problemów.

Jak dane fMRI wykorzystano do poprawy odpowiedzi

.Zespół stworzył liniowe odwzorowanie pomiędzy ukrytymi stanami modelu a zapisami fMRI, a następnie wyznaczył kierunki zmian jego reprezentacji. Stosowano je podczas generowania odpowiedzi oraz dostrajania parametrów. Nie był to działający na żywo interfejs mózg–komputer. Wcześniej zarejestrowane dane służyły jako dodatkowy sygnał uczenia.

Najbardziej miarodajny rezultat dotyczył połączenia zwykłego uczenia na poprawnych odpowiedziach z instrukcją pochodzącą z fMRI. W 10 modelach trafność wzrosła średnio o 2,2 punktu procentowego ponad samo uczenie językowe. Zależnie od modelu poprawa wynosiła od 0,5 do 6,4 punktu.

Podawane przez autorów 13,2 punktu procentowego dotyczyło jednego najlepszego porównania modelu Mistral w wygenerowanych zadaniach rachunku zdań, przy wyborze najlepszego z pięciu uruchomień. Korzyści przenosiły się także na nowe testy, lecz nie każdy wariant interwencji pomagał każdemu modelowi.

To nie dowód, że AI myśli jak człowiek

.Eksperyment pozostaje badaniem wstępnym: główna analiza obejmowała 10 osób, syntetyczne zadania i odpowiedzi prawda–fałsz, a fMRI jest sygnałem wolnym i zaszumionym. Ponadto procedura korygująca konkretne błędy okresowo sprawdzała, czy model osiągnął znaną poprawną odpowiedź. Nie był to zatem ślepy test gotowego systemu.

Badanie pokazuje częściową, statystycznie mierzalną zbieżność reprezentacji oraz możliwość wykorzystania danych neuronalnych jako uzupełnienia treningu. Nie wykazuje tożsamości mechanizmów, ludzkiego rozumienia ani świadomości sztucznej inteligencji. Nie rozwiązuje również szerszego problemu pewności błędnych odpowiedzi chatbotów. Potrzebne są replikacje na większych grupach i bardziej zróżnicowanych zadaniach.

Szymon Ślubowski