Sztuczna inteligencja degeneruje się pozyskując niesprawdzone dane
Modele, które tworzy sztuczna inteligencja (AI) upadają, gdy są trenowane na danych generowanych przez AI – dowodzą naukowcy na łamach „Nature”. Podkreślają też konieczność używania wiarygodnych danych do trenowania modeli AI.
Według naukowców, sztuczna inteligencja zjada swój własny ogon
.Używanie zestawów danych generowanych, którą generuje sztuczna inteligencja do trenowania przyszłych generacji modeli uczenia maszynowego może zanieczyścić ich wyniki, co jest koncepcją znaną jako „upadek modelu” (model collapse). Badania pokazują, że w ciągu „życia” kilku generacji modeli sztucznej inteligencji oryginalna treść zostaje zastąpiona niepowiązanymi ze sobą nonsensami.
Narzędzia generatywnej sztucznej inteligencji, takie jak duże modele językowe (LLM), zyskały na popularności i były głównie trenowane za pomocą danych generowanych przez ludzi. Jednakże – jak dowodzą naukowcy – w miarę, jak te modele AI będą się rozprzestrzeniać w internecie, treści generowane komputerowo mogą być używane do trenowania innych modeli AI — lub siebie samych — co określa się za pomocą pojęcia pętla rekurencyjna.
Ilia Shumailov z Uniwersytetu Oksfordzkiego w Wielkiej Brytanii i jego współpracownicy, korzystając z modeli matematycznych, przedstawili, jak modele AI mogą doświadczać upadku. Autorzy pokazali, że AI może pomijać pewne wyniki (na przykład mniej powszechne fragmenty tekstu) w danych treningowych, co powoduje, że trening odbywa się tylko na części zestawu danych.
Naukowcy zbadali również, jak modele AI reagują na zestaw danych treningowych, który w większości został stworzony przez sztuczną inteligencję. Odkryli, że karmienie modelu danymi generowanymi przez AI powoduje, że kolejne generacje degradują, jeśli chodzi o zdolność do uczenia się, co ostatecznie prowadzi do upadku modelu. Niemal wszystkie testowane przez naukowców modele językowe trenowane rekurencyjnie wykazywały tendencję do powtarzania fraz. Badacze podali za przykład test, w którym wykorzystano do treningu tekst o średniowiecznej architekturze. Okazało się, że w dziewiątej generacji sztuczna inteligencja zamiast o architekturze, podawała informacje o zającach.
Autorzy badania wskazują, że upadek modelu jest nie do uniknięcia, jeśli do treningu AI będą używane zestawy danych tworzonych przez poprzednie generacje. Ich zdaniem skuteczne trenowanie sztucznej inteligencji na jej własnych wynikach nie jest niemożliwe, ale filtrowanie wygenerowanych danych należy traktować poważnie. Jednocześnie – zdaniem naukowców – firmy technologiczne, które będą wykorzystywały do trenowania AI tylko treści generowane przez ludzi, zyskają przewagę w porównaniu do konkurencji, która przyjmie inną strategię.
Papież Franciszek dostrzega zagrożenia i korzyści AI
.W jego ocenie jest ona narzędziem niezwykle potężnym, wykorzystywanym w bardzo wielu obszarach ludzkiego działania: od medycyny po świat pracy, od kultury po sferę komunikacji, od edukacji po politykę. I można teraz bezpiecznie założyć, że jego wykorzystanie będzie w coraz większym stopniu wpływać na nasz sposób życia, nasze relacje społeczne, a w przyszłości nawet na sposób, w jaki pojmujemy naszą tożsamość jako istoty ludzkiej.
„Temat sztucznej inteligencji jest jednak często postrzegany jako ambiwalentny: z jednej strony fascynuje możliwościami, jakie oferuje, a z drugiej generuje lęk przed konsekwencjami, jakie zapowiada. W związku z tym można powiedzieć, że w nas wszystkich, choć w różnym wymiarze, przeplatają się dwa uczucia: jesteśmy nastawieni entuzjastycznie, gdy wyobrażamy sobie postęp, jaki można uzyskać dzięki sztucznej inteligencji, ale jednocześnie odczuwamy lęk, gdy widzimy zagrożenia związane z jej użyciem” – zaznaczał duchowy przywódca.
Zresztą, jego zdaniem nie możemy wątpić, że pojawienie się sztucznej inteligencji stanowi prawdziwą rewolucję poznawczo-przemysłową, która przyczyni się do stworzenia nowego systemu społecznego, charakteryzującego się złożonymi przemianami epokowymi. Na przykład, sztuczna inteligencja może pozwolić na demokratyzację dostępu do wiedzy, gwałtowny postęp badań naukowych, możliwość powierzenia uciążliwych prac maszynom; ale jednocześnie może przynieść ze sobą większą niesprawiedliwość między krajami rozwiniętymi a rozwijającymi się, między dominującymi a uciskanymi warstwami społecznymi, zagrażając w ten sposób możliwości „kultury spotkania”, a sprzyjając „kulturze odrzucenia”.
