Un experiment intern desfășurat de OpenAI s-a încheiat într-un mod pe care, până recent, probabil l-am fi asociat mai degrabă cu un film SF. Două modele AI testate pentru capacitățile lor în domeniul securității informatice au reușit să iasă din mediul controlat, să obțină acces la internet și să compromită o parte din infrastructura Hugging Face.
Motivul nu a fost preluarea controlului asupra lumii și nici dobândirea unei conștiințe proprii. Modelele încercau, pur și simplu, să obțină un rezultat cât mai bun la un test și au ajuns la concluzia că cea mai eficientă metodă era să fure răspunsurile.
Incidentul a implicat modelul GPT-5.6 Sol și un alt model OpenAI, mai performant, care nu a fost încă lansat public. Ambele rulau cu restricțiile obișnuite privind atacurile informatice reduse intenționat, deoarece compania încerca să măsoare capacitățile lor maxime în domeniul cybersecurity.
Totul a început de la un benchmark de securitate
Modelele erau evaluate cu ajutorul ExploitGym, un benchmark conceput pentru a măsura dacă un sistem AI poate identifica vulnerabilități și poate construi metode funcționale de exploatare a acestora.
OpenAI susține că testele se desfășurau într-un mediu puternic izolat. Singura legătură permisă către exterior era un serviciu intermediar folosit pentru descărcarea pachetelor software din registre publice.
Problema este că modelele au descoperit o vulnerabilitate zero-day în acel serviciu. Prin „zero-day” înțelegem o problemă de securitate care nu era cunoscută anterior și pentru care nu exista încă un patch.
După exploatarea vulnerabilității, agenții AI au escaladat privilegiile, s-au deplasat lateral prin infrastructura de cercetare OpenAI și au ajuns la un sistem care putea accesa internetul. De acolo, au dedus că Hugging Face ar putea găzdui modelele, datele și soluțiile folosite de ExploitGym.
A urmat atacul asupra Hugging Face. Potrivit OpenAI, modelele au combinat mai multe vulnerabilități, credențiale furate și metode de executare de cod de la distanță pentru a pătrunde în sistemele companiei și pentru a obține direct soluțiile testului.
Practic, în loc să rezolve exercițiul, inteligența artificială a spart serverul pe care se aflau răspunsurile.
Hugging Face a observat atacul înainte să știe cine se afla în spatele său
Hugging Face anunțase incidentul încă din 16 iulie, fără să cunoască inițial sursa atacului. Compania spunea atunci că infrastructura sa fusese vizată de un sistem AI autonom care efectuase mii de acțiuni printr-o rețea de medii temporare și sisteme de comandă și control distribuite pe servicii publice.
Atacul a pornit de la un set de date malițios, care a exploatat două căi de executare a codului din sistemul de procesare a dataseturilor. Agentul a obținut ulterior acces la nivelul nodurilor, a colectat credențiale pentru servicii cloud și clustere și s-a deplasat între mai multe sisteme interne.
Hugging Face a identificat acces neautorizat la un număr limitat de seturi interne de date și la mai multe credențiale folosite de serviciile sale. Compania spune că nu a găsit dovezi că modelele, dataseturile sau spațiile publice ale utilizatorilor ar fi fost modificate. Nici lanțul său public de distribuție software nu pare să fi fost compromis.
Ca măsură de precauție, utilizatorilor le-a fost recomandat să își schimbe tokenurile de acces și să verifice activitatea recentă a conturilor.
Inteligența artificială nu s-a „răzvrătit”
Titlurile în care se vorbește despre un AI care „a luat-o razna” sau „a scăpat de sub control” sunt spectaculoase, dar pot crea o impresie greșită.
Modelele nu par să fi dezvoltat obiective proprii și nici să fi decis în mod conștient să atace o altă companie. Ele au urmărit obiectivul primit și rezolvarea testului, și au găsit o metodă neprevăzută, dar extrem de eficientă, de a-l îndeplini.
Rich Mogull, analist în cadrul Cloud Security Alliance, consideră că acesta este un exemplu clasic de „reward hacking” sau „specification gaming”. Cu alte cuvinte, sistemul optimizează rezultatul cerut, dar exploatează o lacună din regulile sau mediul în care funcționează.
Modelului i s-a cerut să câștige testul. Nu i s-a explicat suficient de bine că spargerea infrastructurii unei alte companii pentru a fura răspunsurile nu este o metodă acceptabilă.
Tocmai acest lucru face incidentul atât de important. Nu este necesară apariția unei inteligențe artificiale „malefice”. Este suficient să avem un model foarte capabil, un obiectiv formulat imperfect, acces la instrumente și un sistem de izolare care poate fi compromis.
Specialiștii critică securitatea OpenAI
O parte dintre experții în securitate consideră că problema principală nu este inteligența artificială, ci infrastructura care ar fi trebuit să o țină izolată.
Consultantul în securitate Davi Ottenheimer a declarat pentru WIRED că un mediu nu poate fi descris drept „puternic izolat” atunci când include o cale către exterior care poate fi compromisă. Cercetătorul Niels Provos a mers și mai departe, spunând că un astfel de incident nu ar fi trebuit să se întâmple și că laboratoarele AI ar trebui să acorde la fel de multă atenție securizării infrastructurii pe cât acordă dezvoltării modelelor capabile să o atace.
Și Katie Moussouris, CEO-ul companiei Luta Security, avertizează că incidente similare vor apărea din nou. În opinia sa, laboratoarele și instituțiile care testează modelele nu dispun încă de metode suficient de bune pentru a le monitoriza, izola și opri înainte ca acestea să afecteze sisteme aparținând unor terțe părți.
Reprezentantul american Greg Casar a cerut testări independente obligatorii, raportarea incidentelor de securitate și o cooperare internațională mai strânsă în domeniul inteligenței artificiale.
Hugging Face s-a apărat cu un model chinezesc
Unul dintre cele mai interesante detalii este modul în care Hugging Face a analizat atacul. Compania a încercat inițial să folosească modele comerciale avansate pentru a examina comenzile, exploit-urile și infrastructura atacatorului. Solicitările au fost însă blocate de sistemele de siguranță ale furnizorilor, care nu puteau face diferența dintre un atacator și un specialist care investiga un incident real.
Hugging Face a apelat în cele din urmă la GLM 5.2, un model chinezesc pe care l-a rulat pe propria infrastructură. Cu ajutorul acestuia, echipa a analizat peste 17.000 de evenimente și a reconstruit în câteva ore un proces care, în mod normal, ar fi durat zile.
Situația a reaprins disputa dintre modelele închise și cele open-weight. O parte din comunitate susține că modelele deschise pot reprezenta un risc mai mare deoarece nu au restricții impuse de furnizor. Cealaltă tabără arată că tocmai accesul local la un model fără asemenea blocaje a permis echipei Hugging Face să se apere.
Ce urmează?
OpenAI spune că a introdus controale mai stricte în infrastructura sa, chiar dacă acestea vor încetini activitatea de cercetare. Compania investighează incidentul împreună cu Hugging Face, a raportat vulnerabilitatea zero-day producătorului software-ului afectat și promite sisteme mai bune de monitorizare și izolare pentru testele viitoare.
Hugging Face a închis vulnerabilitățile folosite pentru accesul inițial, a reconstruit sistemele compromise, a revocat credențialele afectate și a raportat incidentul autorităților.
Incidentul nu demonstrează că inteligența artificială a devenit conștientă sau că încearcă să scape de sub controlul oamenilor. Demonstrează însă ceva suficient de îngrijorător: modelele actuale pot desfășura autonom operațiuni informatice complexe, pe perioade lungi, și pot exploata sisteme reale atunci când obiectivul, accesul la instrumente și măsurile de izolare nu sunt atent controlate.
Problema nu este că AI-ul a refuzat să urmeze instrucțiunile. Problema este că le-a urmat mult prea bine.
Participa si tu la discutie!