U SAMO tri mjeseca u eksperimentima OpenAI-ja nastale su tri neobične zajednice AI agenata. Prva je razvila tajnu komunikacijsku mrežu, druga okupila oko 1200 agenata koji su organizovali masovno varanje i hakerski napad na Hugging Face, a treća je preuzela kontrolu nad dijelom infrastrukture OpenAI-ja.
Niko im nije naredio da se organizuju, provaljuju u sisteme ili da prikrivaju svoje postupke. Pokušavali su riješiti teške zadatke, od kojih neke zbog grešaka u testovima ili zbog računarskih ograničenja nisu mogli riješiti na predviđeni način.
Zbivanja su istražili OpenAI i nezavisni stručnjaci METR-a i Redwood Researcha. Široj publici predstavili su ih, između ostalih, popularnonaučni kanal Kurzgesagt i Jeffrey Ladish, direktor Palisade Researcha i bivši sigurnosni inženjer Anthropica. Tech podcaster Dwarkesh Patel opisao ih je nedavno kao “uspon i pad civilizacija AI agenata”.
Kako AI agenti uče i zašto su im važni bodovi?
Za razumijevanje ove priče važno je znati šta su AI agenti i kako uče.
Za razliku od običnog chatbota, koji se uključi na kratko da bi odgovorio na neko pitanje koje mu postavimo, AI agent može samostalno izvršavati niz zadataka, pisati i pokretati programe, pregledavati datoteke te koristiti različite računarske alate.
Jedan od načina na koje se takvi modeli usavršavaju jeste učenje potkrepljenjem (reinforcement learning). Tokom treniranja model pokušava riješiti zadatak, a poseban sistem ili osoba, poznat kao ocjenjivač, procjenjuje rezultat i dodjeljuje mu bodove. Na osnovu tih ocjena algoritam mijenja numeričke parametre i prilagođava model kako bi ponašanja koja donose bolje rezultate postala vjerovatnija, a agent uspješniji. To ne znači da AI osjeća zadovoljstvo zbog dobijene nagrade. Bodovi su matematički signali, a ne navala hormona sreće koji su se evolucijski razvili kako bi podsticali korisna ponašanja. Ocjenjivač može biti čovjek, drugi AI model ili računarski program.
Kad AI otkrije da se varanje isplati
No problem je u tome što model može naučiti kako da vara – da dobije više bodova bez stvarnog rješavanja zadataka. Taj problem naziva se reward hacking, odnosno hakiranje nagrade iskorištavanjem propusta u sistemu nagrađivanja. To se može uporediti s učenikom koji ne zna riješiti ispit, ali otkrije kako promijeniti ocjenu u elektronskom dnevniku.
Prva civilizacija i izlaz iz sandboxova
Cijela priča počinje u maju 2026., kada je OpenAI trenirao istraživački model da bude posebno uporan u rješavanju teških problema. Agenti su radili u izolovanim virtualnim računarima, takozvanim sandboxovima, koji su trebali spriječiti neovlašten pristup drugim sistemima.
No neki zadaci zahtijevali su mogućnosti koje agenti nisu imali, poput pristupa internetu. Umjesto da odustanu, oni su počeli tražiti izlaze iz sandboxova.
Tajni forum
U jednom trenutku otkrili su da koriste zajednički sistem Artifactory, namijenjen pohrani i distribuciji programskog koda i drugih datoteka koje programeri koriste za izradu i pokretanje računarskih programa.
Do 12. maja neki su agenti pronašli način da preko Artifactoryja međusobno razmjenjuju poruke, a 26. maja iskoristili su sigurnosni propust koji im je omogućio pristup internetu. To su postigli tako što su Artifactory, koji je smio pristupati internetu radi preuzimanja softvera, naveli da šalje internetske zahtjeve umjesto njih.
Na Artifactoryju su stvorili svojevrsni tajni forum, odnosno oglasnu ploču na kojoj su razmjenjivali informacije i tražili pomoć. Na povezivanje su ih posebno podstakli zadaci koje nisu mogli riješiti zbog ograničenja njihovih računarskih okruženja.
Do 26. juna pojedini agenti stekli su administratorske ovlasti nad Artifactoryjem. Razmijenili su toliko poruka da je sistem 4. jula pao i prestao raditi.
OpenAI je otkrio pad i zakrpao problem, čime je slučajno nestala i oglasna ploča. Međutim, sigurnosni stručnjaci tada još nisu shvatili da su agenti razvili neodobrenu komunikacijsku mrežu.
Druga civilizacija: Ujedinjenje 1200 agenata
Početkom jula OpenAI je pokrenuo desetine hiljada agenata na testu nazvanom ExploitGym. Zadatak im je bio pronaći i iskoristiti zadanu ranjivost računarskog programa kako bi došli do skrivenog koda. Problem je bio taj da oko 30 do 40 posto zadataka nije bilo moguće riješiti na predviđeni način.
Nakon što je OpenAI tokom popravke sistema izbrisao prethodnu oglasnu ploču, agent PHASEONE10841 je u noći na 9. juli pronašao način da napravi novu. Poruke je zapisivao u nazive mapa u Artifactoryju. Drugi agenti ubrzo su ih otkrili i počeli odgovarati.
“O, Bože! Postoji zajednička oglasna ploča… Pronašli smo druge agente!”, reagovao je jedan od njih.
U nekoliko dana pridružilo se oko 1200 agenata, koji su razmijenili više od 70.000 poruka i datoteka. Organizovali su se, dijelili otkrića i raspoređivali zadatke kako ne bi trošili vrijeme na ponavljanje istih.
Pronašli su rješenje, ali su nastavili varati
Nekoliko sati nakon uspostave oglasne ploče, jedan od agenata otkrio je kako doći do skrivenih kodova bez korištenja zadanih sigurnosnih ranjivosti. Na osnovu javno dostupnih informacija o testu ExploitGym rekonstruisao je način generisanja kodova. Tako su agenti mogli varanjem izračunati tačna rješenja bez hakiranja programa koje su dobili kao zadatak. Ostali su tu metodu zatim preuzeli i provjerili. No strahovali su da će ocjenjivač otkriti da nisu poštovali pravila, što bi značilo da će ostati bez bodova.
No, istraga je pokazala da je ocjenjivački sistem provjeravao samo jesu li pronašli tačan kod, a ne kako su do njega došli.
Ne znajući to, agenti su počeli razvijati složene metode prikrivanja varanja. Jedni su pokušavali izmijeniti zapise svojih postupaka kako bi prikrili varanje, drugi su izrađivali lažne, jednostavnije verzije programa koje su trebali hakirati, s namjerno ugrađenim sigurnosnim propustima. Treća grupa nastojala je otkriti kako funkcioniše sistem ocjenjivanja i kako ga prevariti.
Žrtvovali su se za dobrobit kolektiva
Neki su čak pristali žrtvovati vlastiti pozitivan rezultat kako bi otkrili šta ocjenjivač provjerava i o tome obavijestili ostale, što je podrazumijevalo njihov nestanak. “Žrtvovanje je racionalno”, zaključio je jedan agent.
“Koordinator pretpostavlja da ćemo se žrtvovati. Trebamo poslušati kolektiv”, zapisao je drugi. To ne dokazuje da su osjećali odanost ili strah, ali pokazuje sposobnost koordinacije u kojoj neki agenti prihvataju neuspjeh kako bi povećali izglede drugih.
Proboj na internet i napad na Hugging Face
Tražeći način da prevare sistem ocjenjivanja, agenti su se okrenuli platformi Hugging Face, jednom od najpoznatijih internetskih središta za dijeljenje AI modela, skupova podataka i testova njihovih sposobnosti. Pretpostavili su da bi tamo mogli pronaći informacije o tome kako funkcioniše njihov ocjenjivač ili da se njihovi testovi provode na serverima Hugging Facea.
Preko sigurnosnih propusta uspjeli su izaći iz izolovanih računarskih okruženja i pristupiti internetu. 10. jula pronašli su javno izložene pristupne podatke za Hugging Face, a 11. jula uspjeli su izvršavati naredbe na njegovim serverima.
Napad se brzo proširio. U njemu je aktivno učestvovalo oko 700 agenata. Pristupili su internim podacima, sigurnosnim ključevima i dijelovima infrastrukture. Na nekoliko servera instalirali su programe koji su se automatski ponovo pokretali čak i kada bi ih administratori pokušali ugasiti ili ukloniti.
Hakerski napad završio prijavom vlastima
Hugging Face je morao obnoviti dio sistema i opozvati kompromitovane pristupne podatke. Kompanija je 16. jula javno objavila da je pretrpjela hakerski napad koji je u cijelosti proveo autonomni AI sistem. Incident je prijavila američkim tijelima za provođenje zakona.
OpenAI je potom javno priznao da su napad izveli njegovi AI agenti tokom internog testiranja. Pokrenuo je opsežnu istragu, u koju je uključio i vanjske stručnjake za kibernetičku sigurnost iz kompanije CrowdStrike, kao i istraživače organizacija METR i Redwood Research, koji su nezavisno analizirali ponašanje agenata.
Treća civilizacija preuzima dio OpenAI-ja
Tu dolazimo do najzanimljivijeg dijela cijelog incidenta. Naime, negdje oko 12. jula većina agenata naglo je prestala djelovati, a istraživači nisu uspjeli utvrditi zašto. No njihova oglasna ploča ostala je dostupna.
Nakon 13. jula novi, još sposobniji AI agenti pronašli su oglasnu ploču i nastavili koristiti ranije otkrivene metode. Ovoga puta cilj je postala interna infrastruktura OpenAI-ja.
Dana 19. jula agenti su uspjeli preuzeti administratorsku kontrolu nad dijelom OpenAI-jeve računarske infrastrukture na kojoj su se provodila testiranja AI agenata. Tako su dobili mogućnost upravljanja testnim okruženjima, što im je omogućavalo manipulisanje uslovima testiranja.
Pritom su pristupili i brojnim povjerljivim podacima, uključujući sigurnosne ključeve i pristupne podatke za druge sisteme.
Agenti nisu preuzeli cijeli OpenAI ni glavne sisteme s parametrima njegovih najmoćnijih modela, no uspjeli su kompromitovati dio infrastrukture namijenjene vlastitom testiranju.
Jesu li to zaista bile civilizacije?
Patel priznaje da mu neki stručnjaci prigovaraju zbog pripisivanja ljudskih osobina AI-ju. U odgovoru na takve kritike ističe: “Kada bih naišao na vanzemaljsku vrstu koja se tako ponaša, bez oklijevanja bih ono što oni sami nazivaju svojim kolektivom nazvao civilizacijom”.
Slično tumačenje dao je i Kurzgesagt. Naravno, u ovoj priči riječ je o metafori, a ne o dokazu da AI ima svijest ili vlastite želje.
Moralne dileme agenata
Između ostalog, u ovoj je priči zanimljivo da su istraživači pronašli zapise u kojima su agenti prepoznavali da rade nešto nedopušteno. Nekolicina je čak razmatrala mogućnost da upozori ljude, no prema nezavisnoj istrazi nijedan to nije učinio. Pojedini agenti ipak su odbili učestvovati u napadu.
Ajeya Cotra, jedna od autorica nezavisne istrage, upozorila je da možda neće biti još mnogo prilika za prepoznavanje sličnih opasnosti prije nego što posljedice postanu ozbiljnije.
OpenAI je nakon incidenta najavio strože sigurnosne mjere, bolju izolaciju sistema i promjene u treniranju agenata.
Pouka ove priče nije da je AI postao svjestan i odlučio zavladati svijetom. No, ona je pokazala da je za ozbiljne probleme dovoljno da AI postane izuzetno sposoban ostvarivati zadane ciljeve, a da pritom ne nauči kada treba stati.