Technologia rozpozna deepfake'i podczas wideokonferencji
Naukowcy z instytutów Fraunhofera opracowali demonstrator, który analizuje obraz i dźwięk podczas wideokonferencji oraz ostrzega o prawdopodobieństwie użycia deepfake’u. System może działać lokalnie na odpowiednio wydajnym laptopie, bez przesyłania nagrania na zewnętrzny serwer. Technologia pozostaje jednak w fazie proof of concept i nie zastępuje niezależnej weryfikacji rozmówcy.
System łączy analizę obrazu i dźwięku
.Rozwiązanie powstało w ramach projektu badawczego ATHENE. Zespoły Fraunhofer Institute for Secure Information Technology (SIT) oraz Fraunhofer Heilbronn Research and Innovation Center (HNFIZ) for Cybersecurity opracowały oprogramowanie łączące wykrywanie deepfake’ów w obrazie i dźwięku. W pracach uczestniczył Martin Steinebach, kierujący działem Media Security and IT Forensics w Fraunhofer SIT.
Oprogramowanie na bieżąco ocenia prawdopodobieństwo, że w rozmowie wykorzystano zmanipulowany głos lub wizerunek. Jeżeli system wykryje wiele sygnałów ostrzegawczych, informuje o tym uczestnika spotkania. Nie rozstrzyga jednak automatycznie, że rozmówca jest fałszywy.
Problem nabiera znaczenia wraz z rozwojem narzędzi generujących realistyczne materiały wideo. Deepfake może zostać wykorzystany nie tylko do dezinformacji, ale także do podszywania się pod przełożonych, partnerów biznesowych lub osoby zatwierdzające transakcje finansowe.
Analiza może działać lokalnie
.Wykrywanie deepfake’ów podczas wideokonferencji jest trudniejsze niż badanie nagrania w dobrych warunkach. Kompresja obrazu i dźwięku, zmienna jakość połączenia, rozmycie tła, oświetlenie oraz ruch mogą usuwać ślady manipulacji albo przypominać błędy generowane przez modele.
Aby przygotować system na takie warunki, badacze zmodyfikowali materiały treningowe, dodając zakłócenia występujące podczas prawdziwych rozmów internetowych. W części dźwiękowej wykorzystali publiczne zbiory obejmujące około 19 tys. autentycznych i 160 tys. zmanipulowanych nagrań.
Według zespołu analiza w czasie rzeczywistym może działać na laptopie z nowoczesną kartą graficzną wyposażoną w 12 GB VRAM’u. Lokalne przetwarzanie ogranicza potrzebę przekazywania poufnego obrazu i dźwięku na zewnętrzny serwer. Jest to szczególnie istotne podczas spotkań zarządów, działów finansowych i partnerów biznesowych, ponieważ AI może wspierać również oszustwa i cyberataki.
System ostrzega, ale nie potwierdza tożsamości
.Demonstrator pozostaje w fazie proof of concept. Badacze chcą teraz rozpocząć współpracę z przedsiębiorstwami i dostawcami systemów wideokonferencyjnych. Rozwiązanie mogłoby w przyszłości działać jako wtyczka, funkcja wbudowana w platformę albo element firmowej infrastruktury bezpieczeństwa.
Fraunhofer nie podał jednak wskaźników skuteczności ani liczby fałszywych alarmów w rzeczywistych spotkaniach. Do wyjaśnienia pozostają również kwestie zgody uczestników na analizę rozmowy.
Ostrzeżenie systemu powinno więc prowadzić do dodatkowej weryfikacji, a nie automatycznej decyzji. Jeśli podczas wideokonferencji pojawia się polecenie wykonania przelewu, należy potwierdzić je drugim kanałem komunikacji. Techniczne wykrywanie manipulacji może być uzupełniane przez kryptograficzne potwierdzanie autentyczności nagrań oraz szerszą edukację dotyczącą deepfake’ów, AI-phishingu i utraty zaufania do cyfrowych treści.
Szymon Ślubowski
