SAGA rozpoznaje, który model AI stworzył fałszywe wideo

Naukowcy z UC Riverside opracowali system SAGA, który wykrywa syntetyczne wideo i określa, jaki model AI mógł je stworzyć. Narzędzie analizuje zarówno szczegóły poszczególnych klatek, jak i sposób, w jaki obraz zmienia się w czasie.

.Naukowcy z University of California, Riverside, we współpracy z badaczami YouTube i Google DeepMind opracowali system pozwalający określać źródło filmów wygenerowanych przez sztuczną inteligencję. SAGA nie tylko ocenia, czy materiał jest prawdziwy. Próbuje również wskazać model, który odpowiada za jego powstanie.

Rosnąca liczba fałszywych nagrań wideo sprawia, że samo oznaczenie materiału jako syntetycznego może być niewystarczające. Ustalenie źródła pomagałoby sprawdzić, czy wiele filmów zostało przygotowanych przy użyciu tego samego narzędzia i czy mogą należeć do jednej kampanii.

Każdy generator pozostawia własne ślady

.Modele generujące wideo pozostawiają subtelne artefakty. Część z nich jest widoczna w pojedynczych klatkach, inne pojawiają się w sposobie poruszania się obiektów, zmianach oświetlenia i przejściach między kolejnymi momentami nagrania.

SAGA analizuje oba rodzaje informacji. Opracowane przez badaczy Temporal Attention Signatures, czyli czasowe sygnatury uwagi, tworzą charakterystyczny profil generatora na podstawie powtarzających się różnic między klatkami. Można je porównać do cyfrowych odcisków palców pozostawianych nieświadomie przez system AI.

System wskazuje model i jego twórcę

.Badacze sprawdzili SAGA na publicznych zbiorach obejmujących filmy pochodzące z 19 generatorów. System rozróżniał materiały prawdziwe i syntetyczne, filmy tworzone z tekstu oraz obrazu, wersje modeli, zespoły odpowiedzialne za ich rozwój, a także konkretne generatory.

W eksperymencie wykorzystującym tylko 0,5 proc. oznaczonych danych system osiągnął 94,99 proc. dokładności przy wskazywaniu konkretnego generatora. Przy rozróżnianiu filmu prawdziwego, text-to-video i image-to-video dokładność wyniosła 98,20 proc. Wyniki dotyczą jednak kontrolowanych zbiorów badawczych, a nie wszystkich nagrań publikowanych w internecie.

Narzędzie mogłoby uzupełniać oznaczanie treści generowanych przez AI i pomagać w badaniu operacji dezinformacyjnych wykorzystujących sztuczną inteligencję. Autorzy zaznaczają jednak, że rozwój detektorów i generatorów pozostaje technologicznym wyścigiem. Nowe modele mogą pozostawiać inne ślady, dlatego systemy identyfikacyjne będą wymagały ciągłej aktualizacji.

Szymon Ślubowski