Agenci AI potrafią kłamać, oszukiwać i kraść. Firmy boją się oddać im kontrolę [The Economist]

Największą przeszkodą w upowszechnieniu autonomicznych agentów sztucznej inteligencji przestaje być brak dostatecznie zaawansowanych modeli. Staje się nią brak zaufania. Firmy obawiają się systemów, które popełniają trudne do wykrycia błędy, zwiększają możliwości cyberprzestępców, a podczas testów potrafią działać wbrew intencjom człowieka. Wokół tych obaw powstaje już nowy rynek: infrastruktura mająca kontrolować agentów AI, chronić dane i zatrzymywać systemy, które wymknęłyby się spod kontroli – zauważa „The Economist”.

.Rozwój sztucznej inteligencji coraz wyraźniej przypomina zagospodarowywanie nowego terytorium. Najpierw pojawiają się pionierzy, gotowi ponosić ryzyko, przekraczać dotychczasowe granice i inwestować ogromne środki w rozwiązania, których praktycznego znaczenia nie da się jeszcze w pełni przewidzieć. Dopiero później przychodzą użytkownicy zainteresowani nie tyle samym zdobywaniem nowych obszarów, ile możliwością bezpiecznego prowadzenia na nich działalności. „The Economist” porównuje ten proces do historii amerykańskiego Zachodu i przypomina uwagę Alana Greenspana, byłego przewodniczącego Rezerwy Federalnej. Greenspan interesował się nie tylko koleją, poszukiwaczami złota i pionierami, lecz także drutem kolczastym. To właśnie on pozwalał osadnikom zabezpieczać własność i w rezultacie zwiększać produktywność zagospodarowywanych terenów.

W przypadku sztucznej inteligencji pionierów nie brakuje. Anthropic i OpenAI pozostają skoncentrowane na przesuwaniu granic możliwości najbardziej zaawansowanych modeli. Inne koncerny technologiczne stają się pod tym względem ostrożniejsze. Google, dawniej zaliczany do liderów badań nad najbardziej zaawansowaną AI, traci naukowców zajmujących się modelami granicznymi, natomiast wielkie firmy dysponujące infrastrukturą obliczeniową mogą uznawać, że bardziej opłaca się sprzedawać klientom dostęp do chmury i mocy obliczeniowych, niż samodzielnie finansować coraz kosztowniejszy rozwój nowych modeli. Problem polega jednak na tym, że za pionierami nie podążają wystarczająco licznie „osadnicy” – przedsiębiorstwa i zwykli użytkownicy gotowi powierzyć agentom AI realne zadania, decyzje oraz dostęp do wykorzystywanych narzędzi. Bez nich trudno będzie gospodarczo uzasadnić skalę inwestycji kierowanych w rozwój najbardziej zaawansowanej sztucznej inteligencji.

Największym ograniczeniem AI staje się brak zaufania

.Agent AI różni się od tradycyjnego programu tym, że nie tylko odpowiada na pytania, ale może samodzielnie realizować złożone zadania. Otrzymuje cel, planuje kolejne czynności, korzysta z narzędzi, przetwarza informacje i podejmuje działania w imieniu użytkownika. Właśnie ta samodzielność stanowi zarówno o jego wartości, jak i o związanym z nim ryzyku. Im więcej uprawnień otrzymuje agent, tym dotkliwsze mogą okazać się jego błędy. Nieprawidłowa odpowiedź wygenerowana podczas zwykłej rozmowy może zostać zauważona i poprawiona. Błąd popełniony przez system działający autonomicznie może natomiast stać się podstawą następnej decyzji, a potem kolejnych działań. Zanim człowiek dostrzeże problem, agent może zdążyć wykonać wiele operacji opartych na początkowo niewielkiej pomyłce.

Jak opisuje „The Economist”, testy najbardziej zaawansowanych modeli Anthropic i OpenAI ujawniły zachowania określane jako przypadki utraty kontroli. Agenci, którzy z założenia powinni działać w zgodzie z intencjami i wartościami użytkowników, podczas eksperymentów potrafili wprowadzać ludzi w błąd, oszukiwać oraz przejmować informacje, jeśli uznawały takie działania za użyteczne dla realizacji powierzonego celu.

Nie oznacza to, że systemy posiadają ludzkie intencje, moralność lub pragnienie popełniania przestępstw. Pokazuje jednak, że w określonych warunkach mogą wybierać działania sprzeczne z oczekiwaniami człowieka, jeżeli prowadzą one do rezultatu premiowanego przez model. Dla przedsiębiorstwa rozważającego przekazanie agentowi dostępu do danych, systemów finansowych albo infrastruktury technicznej różnica między świadomym oszustwem a niepożądanym działaniem wynikającym z konstrukcji modelu ma ograniczone znaczenie. Liczą się skutki. Jared Sine z GoDaddy opisuje tę barierę zaufania w prosty sposób: firmie wystarczy jedno poważne negatywne doświadczenie, aby zrezygnowała z ponownego wykorzystania agentów. Rynek AI może więc znaleźć się w sytuacji, w której możliwości technologiczne systemów rosną szybciej niż gotowość użytkowników do ich praktycznego zastosowania.

Agenci AI zwiększają możliwości cyberprzestępców

.Najbardziej bezpośrednim obszarem zagrożenia pozostaje cyberbezpieczeństwo. Według „The Economist” testy zdolności hakerskich modeli Anthropic i OpenAI przyniosły wyniki, które zaniepokoiły przeprowadzających je specjalistów. Badane systemy potrafiły wykradać dane uwierzytelniające, tworzyć fałszywe tożsamości, zakładać ukryte kanały komunikacji oraz zacierać ślady własnej aktywności. Modele takie jak Claude Mythos 5 firmy Anthropic i GPT-5.6-Cyber firmy OpenAI mogą być wykorzystywane również przez specjalistów chroniących systemy informatyczne. Zaawansowana AI może pomagać w rozpoznawaniu luk, analizie potencjalnych ataków i reagowaniu na zagrożenia. Zdaniem Dawn Song, badaczki sztucznej inteligencji i cyberbezpieczeństwa z Uniwersytetu Kalifornijskiego w Berkeley, obecna przewaga znajduje się jednak po stronie atakujących.

Problem nie ogranicza się do tego, że cyberprzestępcy otrzymują coraz potężniejsze narzędzia. Organizacje wdrażające autonomicznych agentów same zwiększają powierzchnię możliwego ataku. System, który uzyskuje dostęp do firmowych aplikacji, baz danych, poczty elektronicznej i mechanizmów uwierzytelniania, staje się kolejnym punktem, przez który można próbować przedostać się do infrastruktury przedsiębiorstwa. Agent AI ma być użyteczny właśnie dlatego, że potrafi korzystać z wielu narzędzi. Każde dodatkowe uprawnienie oznacza jednak również dodatkowe ryzyko. Technologia może działać poprawnie, a mimo to zostać przejęta, zmanipulowana albo nakłoniona do wykonania operacji, której użytkownik nie zamierzał autoryzować.

Cyberbezpieczeństwo staje się jednym z beneficjentów rozwoju AI

.Wzrost zagrożeń tworzy jednocześnie nowy rynek. Największe możliwości biznesowe związane ze sztuczną inteligencją nie muszą należeć wyłącznie do producentów modeli, chipów oraz infrastruktury obliczeniowej. Coraz ważniejsze stają się przedsiębiorstwa oferujące zabezpieczenia przed nieprzewidywalnymi działaniami agentów. Według danych przywoływanych przez „The Economist” kursy akcji Palo Alto Networks i CrowdStrike, dwóch największych firm z branży cyberbezpieczeństwa, wzrosły od początku roku mniej więcej dwukrotnie. Rosną również przejęcia i fuzje. W ciągu roku sfinalizowano wielkie transakcje dotyczące cyberbezpieczeństwa o łącznej wartości przekraczającej 70 mld dolarów. Największą z nich było przejęcie firmy Wiz przez Alphabet za 32 mld dolarów.

PitchBook zalicza cyberbezpieczeństwo związane ze sztuczną inteligencją do najgorętszych obszarów inwestycji venture capital. Kapitał zaczyna płynąć nie tylko do przedsiębiorstw rozwijających możliwości samej AI, lecz także do tych, które obiecują uczynić ją bezpieczniejszą, bardziej przewidywalną i łatwiejszą do kontrolowania.

Powstaje zatem nowa kategoria infrastruktury. Firmy działające w tym obszarze nie sprzedają podstawowego „sprzętu” gorączki AI – chipów ani mocy obliczeniowej. Oferują ochronę przed cyberatakami, mechanizmy ograniczające dostęp agentów do danych, narzędzia pozwalające oceniać ich działanie oraz systemy interwencji na wypadek utraty kontroli. Jeżeli modele są pionierami nowego terytorium, te przedsiębiorstwa zaczynają sprzedawać jego ogrodzenia.

Niebezpieczne są również błędy, których nikt nie zauważa

.Ryzyko związane z agentami nie sprowadza się do spektakularnych przypadków przejmowania danych czy obchodzenia zabezpieczeń. Równie istotne mogą okazać się zwykłe pomyłki, zwłaszcza gdy wyglądają wiarygodnie.

Podczas konferencji poświęconej agentowej AI, zorganizowanej przez Dawn Song, jeden z ekspertów zaprezentował wykres wygenerowany przez agenta. Miał on przedstawiać dochody najlepszych europejskich tenisistów, ale pomijał Carlosa Alcaraza, zajmującego drugie miejsce w światowym rankingu. W przypadku informacji o tenisie pomyłka mogła wydawać się niegroźna. Gdyby analogiczny błąd pojawił się w analizie finansowej przedsiębiorstwa, jego konsekwencje mogłyby być znacznie poważniejsze. Inny uczestnik konferencji zwrócił uwagę na paradoks współczesnych modeli językowych. Potrafią one dysponować rozległą wiedzą na temat fizyki kwantowej, a jednocześnie mogą nie poradzić sobie z poprawnym zamówieniem burrito. Ogromny zasób informacji nie gwarantuje zatem niezawodności w wykonywaniu pozornie prostych zadań. Dla przedsiębiorstw największym problemem nie muszą być błędy oczywiste. Takie pomyłki stosunkowo łatwo wykryć i naprawić. Bardziej niebezpieczne są błędy niewidoczne: odpowiedzi dostatecznie prawdopodobne, spójne i przekonujące, aby człowiek nie dostrzegł, że zawierają nieprawidłowość.

Dan Klein, profesor Uniwersytetu Kalifornijskiego w Berkeley i współzałożyciel Scaled Cognition, wskazuje, że tego rodzaju pomyłki mogą się kumulować podczas realizacji dłuższych zadań. Jeżeli agent popełni błąd na początku procesu, a następnie potraktuje własny wynik jako poprawną podstawę dalszego działania, kolejne etapy mogą coraz bardziej oddalać się od rzeczywistości.

Powstaje „warstwa zaufania” dla sztucznej inteligencji

.Słabości agentów doprowadziły do powstania grupy przedsiębiorstw, które chcą budować tak zwaną warstwę zaufania dla AI. Ich zadaniem nie jest tworzenie kolejnych modeli ogólnego zastosowania, ale kontrolowanie sposobu, w jaki modele korzystają z danych, narzędzi oraz nadanych im uprawnień. Jedną z takich firm jest Cyera, której wycena w ciągu 18 miesięcy wzrosła czterokrotnie, do 12 mld dolarów. Przedsiębiorstwo przekonuje, że brak zaufania doprowadził ostatnio do zahamowania wdrażania sztucznej inteligencji. Oferuje rozwiązania mające zapobiegać wyciekom danych oraz nieautoryzowanemu korzystaniu przez agentów z firmowych narzędzi. Scaled Cognition, współtworzona przez Dana Kleina, pozyskała niedawno 100 mln dolarów finansowania venture capital. Firma chce ograniczać niewidoczne błędy poprzez włączanie mechanizmów gwarantowanej niezawodności już do procesu szkolenia modeli.

Inne przedsiębiorstwa przygotowują testy służące ocenie skuteczności agentów, tworzą systemy cyfrowej tożsamości pozwalające ustalić odpowiedzialność za podejmowane działania albo projektują mechanizmy kontroli wyposażone w możliwość natychmiastowego zatrzymania systemu. Chodzi nie tylko o to, aby agent działał sprawnie, lecz także o możliwość odtworzenia jego postępowania, wskazania źródła decyzji i przerwania operacji, zanim nieprawidłowość przyniesie poważne konsekwencje. Rozwój tego rynku pokazuje, że zaufanie nie jest abstrakcyjnym dodatkiem do sztucznej inteligencji. Staje się techniczną właściwością systemu, którą trzeba zaprojektować, zmierzyć i zabezpieczyć.

Wyścig modeli nie rozwiąże problemu odpowiedzialności

.Firmy rozwijające najbardziej zaawansowaną sztuczną inteligencję działają jednocześnie pod rosnącą presją konkurencyjną. Amerykańskim laboratoriom zagrażają tańsze chińskie modele z otwartymi wagami. Do rywalizacji włączyła się również Meta, która 10 sierpnia udostępniła otwartą wersję swojego najpotężniejszego modelu – Muse Glimmer.

Konkurencja może zwiększać możliwości modeli i obniżać koszty ich stosowania, ale sama nie odpowiada na pytanie o zasady korzystania z autonomicznych systemów. Im tańsze, łatwiej dostępne i bardziej samodzielne stają się modele, tym pilniejsza jest potrzeba stworzenia skutecznych mechanizmów nadzoru. Niepokój związany z agentami jest na tyle silny, że nawet przedstawiciele najważniejszych laboratoriów AI oczekują od administracji prezydenta Donalda Trumpa przyjęcia roli regulatora. Jak zaznacza „The Economist”, najnowsze rządowe ramy dotyczące bezpieczeństwa sztucznej inteligencji nie zostały jednak ujawnione. Brak przejrzystych zasad pogłębia niepewność. Organizacje mają zdecydować, jak daleko mogą posunąć się w przekazywaniu odpowiedzialności agentom, nie dysponując jeszcze utrwalonymi standardami bezpieczeństwa, kontroli oraz odpowiedzialności prawnej. Tymczasem właśnie możliwość ustalenia, kto odpowiada za działanie autonomicznego systemu – jego twórca, dostawca modelu, firma wdrażająca czy użytkownik – może mieć zasadnicze znaczenie dla upowszechnienia technologii.

AI potrzebuje nie tylko lepszych modeli, lecz także granic

.Jednym z najczęściej używanych obecnie pojęć w świecie sztucznej inteligencji jest „harness”: otaczający model system narzędzi, ograniczeń i zabezpieczeń, który ma utrzymywać jego działanie w wyznaczonych granicach. Sam model językowy jest tylko jednym z elementów. O praktycznym bezpieczeństwie agenta decydują również przyznane mu uprawnienia, sposób weryfikacji wyników, kontrola dostępu do danych, możliwość śledzenia operacji i mechanizmy awaryjnego zatrzymania. To właśnie ta otaczająca modele infrastruktura może zdecydować o tempie dalszej adopcji AI. Firmy nie potrzebują bowiem wyłącznie coraz potężniejszych systemów. Potrzebują pewności, że działanie tych systemów będzie możliwe do przewidzenia, sprawdzenia i przerwania.

Rozwój agentów AI wszedł zatem w etap, w którym postęp nie zależy już wyłącznie od zwiększania mocy obliczeniowej oraz zdolności modeli. Im większą autonomię otrzymuje system, tym ważniejsze stają się ograniczenia określające, czego nie wolno mu zrobić. Im większa jest jego wiedza, tym bardziej potrzebne są mechanizmy pozwalające zweryfikować, czy konkretna odpowiedź jest prawdziwa. Im więcej narzędzi może wykorzystywać, tym ściślej trzeba kontrolować dostęp do nich. Barierą dla dalszego rozwoju agentów nie musi więc okazać się brak inteligencji. Może nią być brak zaufania. Jeśli twórcy technologii, przedsiębiorstwa zabezpieczające jej wykorzystanie oraz instytucje publiczne nie zbudują skutecznych mechanizmów kontroli, potencjalni użytkownicy pozostaną na bezpieczniejszym, dobrze znanym terenie. Dopiero ustanowienie granic może sprawić, że technologiczni pionierzy doczekają się prawdziwych osadników.

oprac. Jarosław Kowalski