Chatboty sztucznej inteligencji wygrywają pewnością siebie

Chatboty, duże modele językowe sprawiają wrażenie pewnych siebie, nawet gdy podają niewłaściwe informacje – wykazało nowe badanie. To może ułatwiać im wprowadzanie w błąd, tymczasem ich wykorzystanie rośnie lawinowo.

Chatboty i ich inteligencja

.Naukowcy z Carnegie Melon University (USA) zapytali ludzi oraz chatboty, a dokładniej cztery duże modele językowe (LLM) o pewność swojej zdolności do odpowiadania na pytania z wiedzy ogólnej, przewidywania wyników meczów NFL lub nagrodzonych podczas gali wręczenia Oscarów.

Dodatkowo poprosili o udział w przypominającej kalambury grze, polegającej na rozpoznawaniu obrazów.

Zarówno ludzie, jak i LLM-y miały tendencję do przeceniania swoich hipotetycznych wyników, odpowiadając przy tym na pytania lub rozpoznając obrazy z podobną skutecznością. Różnice pojawiły się, gdy SI i ludzi po fakcie zapytano, jak dobrze im poszło. Jedynie ludzie potrafili tutaj dostosować swoje opinie do rzeczywistości.

– Powiedzmy, że ludzie mówili nam, że zamierzają odpowiedzieć poprawnie na 18 pytań, a ostatecznie odpowiedzieli dobrze na 15. Zazwyczaj ich szacunkowa ocena po wszystkim wynosiłaby około 16 poprawnych odpowiedzi. Nadal byliby więc nieco zbyt pewni siebie, ale już nie aż tak bardzo – wyjaśnia autor badania dr Trent Cash.

– Modele językowe tego nie robiły. Miały raczej tendencję do jeszcze większej pewności siebie, nawet gdy nie poradziły sobie zbyt dobrze w zadaniu – dodaje.

Mocną stroną tego badania było to, że dane były zbierane przez dwa lata, co pozwoliło uwzględnić stale aktualizowane wersje modeli językowych, takich jak ChatGPT, Bard/Gemini, Sonnet i Haiku. Przez caly ten czas nadmierna pewność siebie była zauważalna w różnych modelach.

– Kiedy sztuczna inteligencja mówi coś, co wydaje się podejrzane, użytkownicy mogą nie być tak sceptyczni, jak powinni. SI wypowiada się z dużą pewnością, nawet jeśli ta pewność jest nieuzasadniona – podkreśla prof. Danny Oppenheimer, współautor badania.

– Ludzie ewoluowali przez tysiące lat i od urodzenia uczą się interpretować sygnały pewności siebie wysyłane przez innych. Jeśli marszczę brwi, albo długo się zastanawiam, ktoś może się zorientować, że nie jestem do końca pewny tego, co mówię. W przypadku sztucznej inteligencji nie mamy jednak tylu sygnałów, które pozwalałyby ocenić, czy rzeczywiście wie, o czym mówi – tłumaczy.

Naukowcy przestrzegają więc przed zbytnią wiarą w to, co mówią LLM-y i podkreślają, że systemy te nie poradzą sobie jeszcze ze wszystkim, o co się je zapyta.

Modele językowe „halucynowały”, czyli generowały nieprawdziwe informacje

.Przywołują np. przeprowadzone przez BBC badanie, które wykazało, że gdy dużym modelom językowym zadawano pytania dotyczące wiadomości, ponad połowa odpowiedzi zawierała poważne błędy, w tym błędy rzeczowe, nieprawidłowe przypisanie źródeł czy mylący kontekst.

Inne badanie z 2023 roku wykazało, że modele językowe – jak to się określa w technicznym żargonie – „halucynowały”, czyli generowały nieprawdziwe informacje aż w 69 do 88 proc. zapytań prawniczych.

Na razie LLM-y nie mają sprawnej introspekcji, więc nawet jeśli robią błędy, nadal podają swoje wypowiedzi z dużą pewnością. Nowe badanie wykazało również, że każdy z dużych modeli językowych ma swoje mocne i słabe strony. Na przykład model o nazwie Sonnet w mniejszym stopniu wykazywał nadmierną pewność siebie niż jego odpowiedniki.

ChatGPT-4 radził sobie na podobnym poziomie, co ludzie w próbie przypominającej grę w kalambury, poprawnie rozpoznając średnio 12,5 ręcznie rysowanych obrazków na 20, podczas gdy Gemini potrafił rozpoznać średnio zaledwie jeden szkic.

Jednocześnie Gemini przewidywał, że poprawnie rozpozna średnio 10 obrazków, przy czym nawet po udzieleniu poprawnej odpowiedzi na mniej niż jedno z 20 pytań, model ten retrospektywnie oszacował, że odpowiedział poprawnie na 14 nich. Według naukowców dla codziennych użytkowników chatbotów najważniejsze jest, aby pamiętać, że duże modele językowe nie mają zawsze racji, i być może warto zapytać je o poziom pewności, zwłaszcza gdy chodzi o ważne kwestie.

Badacze zaznaczają przy tym, że z czasem, być może dzięki przeanalizowaniu dużo większych zestawów danych, systemy takie będą bardziej godne zaufania. Trudno to jednak jednoznacznie teraz ocenić.

– Myślę, że to interesujące, że duże modele językowe często nie potrafią uczyć się na podstawie własnego zachowania. Być może kryje się w tym jakaś humanistyczna historia. Może jest coś wyjątkowego w tym, jak ludzie się uczą i komunikują – dodaje dr Cash.

Etyka przełomu. O przyszłości AI 

.Generatywne narzędzia AI zmienią nasze społeczeństwo w dziwny, cudowny i niepokojący sposób. Czy filozofia może pomóc nam nad nimi zapanować? – pisze prof. Seth LAZAR na łamach Wszystko co Najważniejsze w tekście „Etyka przełomu. O przyszłości AI”

Mniej więcej rok temu generatywna sztuczna inteligencja szturmem podbiła świat, po tym jak duże modele językowe (LLM) spowodowały drastyczny wzrost wydajności w niespotykanym dotąd zakresie zadań. Choć LLM-y, takie jak GPT-4 i Gemini, są najbardziej znane z generowania przekonujących tekstów i obrazów, ich największy wpływ społeczny będzie prawdopodobnie wynikał z roli jako centrów wykonawczych dla złożonych systemów, korzystających z zewnętrznych narzędzi do poznawania świata i działania w nim. „Generatywni agenci” będą zasilać inne programy, które przekształcą stare kategorie relacji społecznych i wprowadzą nowe. Spowodują też radykalne zmiany w ekonomii uwagi i zrewolucjonizują korzystanie z technologii cyfrowych, umożliwiając każdemu użytkownikowi kontrolowanie ich za pomocą języka.

Sporo rozważań dotyczących generatywnych systemów AI koncentruje się na tym, w jaki sposób powielają one patologie powszechnie stosowanych już systemów sztucznej inteligencji. Część krytyków twierdzi, że systemy te centralizują władzę i bogactwo, lekceważą prawa autorskie, bazują na praktykach wyzysku pracowników i wykorzystują zbyt wiele zasobów. Inni zaś podkreślają, że jest to zapowiedź znacznie potężniejszych systemów, które mogą zagrozić przetrwaniu ludzkości. Pierwsza grupa przekonuje, że nie dzieje się nic nowego, druga spogląda na, być może, odległy horyzont.

LINK DO TEKSTU:  https://wszystkoconajwazniejsze.pl/prof-seth-lazar-etyka-przelomu-o-przyszlosci-ai/

Nieunikniona rewolucja AI

.Na temat tego jakie szanse i zagrożenia niesie coraz bardziej postępujący rozwój sztucznej inteligencji, na łamach „Wszystko Co Najważniejsze” pisze David LISNARD w tekście „ChatGPT. Problem jest w innym miejscu”.

„Radykalna innowacja z natury niesie ze sobą wielkie ryzyko, proporcjonalne do możliwości, jakie stwarza. U zarania pojawienia się sztucznej inteligencji uczelnia Sciences Po – podobnie jak uczelnie w Nowym Jorku – zabroniła korzystania z niej. Jeśli w świetle ogromu czekających nas wstrząsów obawy są uzasadnione, rozwiązań nie znajdziemy w odrzuceniu, przejawiającym się w skrajnym przypadku ideą spowolnienia gospodarczego, które nie oferuje żadnej wiarygodnej alternatywy i proponuje świat bez innowacji, naznaczony strachem i wycofaniem, społeczeństwo, w którym każdy powinien zredukować swój byt: mniej podróżować, mniej pracować, mniej działać, mniej tworzyć. Mniej żyć”.

„To śmiercionośny projekt polityczny. Musimy pozostać wierni naszym zasadom, które jako jedyne mogą kierować naszymi wyborami w burzliwych czasach: wolność jako nadrzędna wartość, odpowiedzialność jako nieuchronne następstwo wolności, kultura i krytyczne myślenie jako źródła indywidualnej emancypacji i zbiorowej więzi, godność ludzka jako ostateczny i ontologiczny cel”.

„Innowacyjność jest nierozerwalnie związana z życiem, z ludzkością, a teraz z jej przetrwaniem w obliczu wyzwania ekologicznego. Sprzeciw wobec rewolucji AI byłby daremny. Możemy aspirować do rozwijania nauki i świadomości. Taka jest rola polityki. W kwestii sztucznej inteligencji tą świadomością jest wiedza o pochodzeniu treści, o przejrzystości informacji dotyczących narzędzia i jego ograniczeń” – pisze David LISNARD.

LINK DO TEKSTU: https://wszystkoconajwazniejsze.pl/david-lisnard-chatgpt-we-francji/

PAP/ Marek Matacz/ LW