Opowiadania wygenerowane przez AI oceniane wyżej niż teksty ludzi

Opowiadania tworzone przez najnowsze modele sztucznej inteligencji są dla wielu czytelników równie przekonujące jak teksty napisane przez ludzi, a w części ocen wypadają nawet lepiej. Badania pokazują zarazem, że odbiorcy mają trudność z rozpoznaniem autora krótkiego utworu literackiego, szczególnie gdy nie wiedzą wcześniej, czy czytają tekst człowieka, czy modelu AI.

Badanie odbioru krótkich opowiadań nie daje jednak nauczycielowi ani redaktorowi gotowej metody weryfikacji konkretnego materiału. Osobnym zagadnieniem pozostaje to, jak rozpoznać tekst napisany przez AI, jakie cechy powinny wzbudzić ostrożność i dlaczego wynik automatycznego detektora nie może być traktowany jako rozstrzygający dowód.

Opowiadania AI oceniane wyżej niż teksty ludzi

.Badanie przeprowadzili naukowcy z Villanova University w Stanach Zjednoczonych, a jego wyniki opublikowano w czasopiśmie „Judgment and Decision Making”. W eksperymentach uczestniczyły osoby w wieku od 18 do 81 lat. Badacze chcieli sprawdzić, czy czytelnicy potrafią odróżnić krótkie opowiadania stworzone przez ludzi od utworów wygenerowanych przez sztuczną inteligencję, jak oceniają ich jakość i atrakcyjność oraz czy doświadczenie związane z literaturą albo narzędziami AI pomaga właściwie rozpoznać pochodzenie tekstu.

Naukowcy wykorzystali trzy opowiadania napisane przez rzeczywistych autorów i opublikowane wcześniej w renomowanym czasopiśmie literackim lub zbiorze opowiadań. Do każdego z nich dobrali odpowiadający mu tekst wygenerowany przez ChatGPT. W pierwszym eksperymencie wzięło udział ponad 1,6 tys. osób. Każdy uczestnik przeczytał jedno opowiadanie. Przed lekturą otrzymał informację – prawdziwą albo fałszywą – że jego autorem jest człowiek lub sztuczna inteligencja. Następnie badani oceniali jakość tekstu oraz stopień, w jakim opowiadanie ich zaangażowało.

W drugim i trzecim eksperymencie uczestniczyły odpowiednio 424 i 481 osoby. Każda z nich otrzymała dwa opowiadania: jedno napisane przez człowieka i jedno wygenerowane przez AI. Tym razem badanym nie przekazano informacji o autorstwie tekstów. Po zakończeniu lektury mieli wskazać, które opowiadanie stworzył człowiek, a które sztuczna inteligencja. Uczestników pytano także o doświadczenie w korzystaniu z narzędzi AI oraz deklarowaną znajomość literatury pięknej.

Dlaczego czytelnicy mylą opowiadania AI z tekstami człowieka

.Wyniki pokazały, że opowiadania wygenerowane przez sztuczną inteligencję oceniano wyżej zarówno pod względem jakości, rozumianej jako poziom wykonania tekstu, jak i zdolności do zaangażowania czytelnika.

Oceny były jeszcze lepsze, gdy uczestnicy byli przekonani, że tekst wygenerowany przez AI napisał człowiek. Największe uznanie zdobywały więc opowiadania stworzone przez sztuczną inteligencję, ale przedstawiane odbiorcom jako dzieła ludzkiego autora. – W naszym badaniu uczestnicy najwyżej oceniali opowiadania, jeśli sądzili, że zostały napisane przez ludzi, choć w rzeczywistości stworzyła je sztuczna inteligencja – powiedziała dr Deena Weisberg z Wydziału Nauk Psychologicznych i Nauk o Mózgu Villanova University.

Jej zdaniem odbiorcy wciąż zakładają, że twórczość literacka wymaga posiadania cech właściwych człowiekowi, między innymi zdolności rozumienia emocji oraz osobistego doświadczenia życiowego. Z tego powodu mogą nie doceniać możliwości sztucznej inteligencji w dziedzinie kreatywnego pisania. – Sądzę, że społeczne wyobrażenia o możliwościach AI są już coraz mniej aktualne – dodała badaczka.

Informacja o autorze zmienia ocenę opowiadania

W drugim eksperymencie opowiadania wygenerowane przez AI prawidłowo rozpoznano zaledwie w 39,93 proc. przypadków. W trzecim badaniu właściwego wyboru dokonało 51,97 proc. uczestników. Również ten rezultat nie różnił się jednak w sposób istotny od wyniku, jaki można byłoby uzyskać przypadkowo. Oznacza to, że większość uczestników nie potrafiła na podstawie samego stylu, konstrukcji narracji czy sposobu prowadzenia opowieści wiarygodnie określić, czy tekst został napisany przez człowieka, czy wygenerowany przez sztuczną inteligencję.

Lepsze wyniki osiągały osoby deklarujące większą znajomość narzędzi AI. Podobnej zależności nie zaobserwowano natomiast w przypadku badanych uważających się za osoby kompetentne w dziedzinie literatury. Doświadczenie czytelnicze nie pomagało zatem w identyfikowaniu autorstwa tekstu w takim stopniu, jak praktyczna znajomość sposobu działania systemów sztucznej inteligencji.

Czy sztuczna inteligencja może zastąpić pisarza?

Jak zauważyli naukowcy, osoby lepiej zaznajomione z systemami AI częściej dostrzegały charakterystyczne właściwości generowanych przez nie tekstów. Należały do nich między innymi częste używanie pauz oraz stosowanie powtarzalnych konstrukcji retorycznych w rodzaju: „to nie tylko X, ale także Y”. – Znajomość systemów AI pomagała uczestnikom rozpoznawać charakterystyczne cechy tekstów generowanych przez sztuczną inteligencję – wskazała dr Deena Weisberg.

Jej zdaniem wyniki badania sugerują, że rozwijanie kompetencji związanych ze sztuczną inteligencją może pomóc ludziom lepiej odnajdywać się w świecie, w którym narzędzia te odgrywają coraz większą rolę. Nie chodzi przy tym jedynie o umiejętność obsługiwania poszczególnych programów. Znaczenie ma również wiedza o językowych schematach wykorzystywanych przez modele oraz świadomość sposobu, w jaki generują one wypowiedzi.

Dlaczego czytelnicy wolą teksty tworzone przez AI?

Badanie naukowców z Villanova University potwierdza wcześniejsze wyniki wskazujące, że odbiorcy często preferują teksty generowane przez sztuczną inteligencję. Zjawisko to zaobserwowano nie tylko w przypadku krótkich opowiadań, lecz także poezji oraz esejów.

Jednym z możliwych wyjaśnień jest większa przystępność tekstów tworzonych przez AI. Są one zwykle przejrzyste, bezpośrednie i łatwe do przetworzenia. Opowiadania napisane przez ludzi bywają natomiast bardziej subtelne, niejednoznaczne i złożone. – Wersje stworzone przez AI zazwyczaj wprost wyrażały główne przesłanie, zamiast pozostawiać czytelnikowi możliwość wyciągania wniosków z wypowiedzi i działań bohaterów – wyjaśniła dr Deena Weisberg.

Sztuczna inteligencja może więc tworzyć teksty lepiej odpowiadające oczekiwaniom odbiorców poszukujących wyraźnego przesłania, zrozumiałej konstrukcji oraz narracji niewymagającej samodzielnego odczytywania ukrytych znaczeń. Paradoksalnie właśnie cechy tradycyjnie uznawane za świadectwo literackiej wartości – subtelność, wieloznaczność, nieoczywistość oraz pozostawienie miejsca na interpretację – mogą sprawiać, że teksty pisane przez ludzi są oceniane niżej.

AI, kryzys czytelnictwa i potrzeba przewidywalności

Zdaniem dr Deeny Weisberg wyników badania nie można jednak tłumaczyć wyłącznie współczesnym sposobem korzystania z mediów, spadkiem zdolności koncentracji czy popularnością krótkich treści publikowanych na platformach takich jak TikTok. – Wiele mówi się dziś o kryzysie czytelnictwa, malejącej zdolności koncentracji i wpływie platform takich jak TikTok. Nie sądzę jednak, aby wyniki naszego badania można było w pełni wyjaśnić współczesnym sposobem korzystania z mediów. Technologie te raczej wzmacniają istniejące skłonności, niż je tworzą – powiedziała badaczka.

Możliwe, że odbiorcy po prostu preferują przewidywalność. Odczytywanie trudniejszych, bardziej subtelnych i niejednoznacznych tekstów wymaga bowiem większego wysiłku umysłowego niż lektura narracji, w której główna myśl zostaje wyrażona bezpośrednio. Wyniki badania pokazują zatem nie tylko rosnące możliwości sztucznej inteligencji, lecz także sposób, w jaki współcześni odbiorcy oceniają literaturę. Pytanie o to, czy potrafimy rozpoznać tekst wygenerowany przez AI, prowadzi tym samym do pytania o nasze własne oczekiwania wobec opowieści – oraz o to, czy coraz częściej wybieramy przejrzystość i przewidywalność zamiast subtelności, złożoności i interpretacyjnego wysiłku.

Jarosław Kowalski