Suntem aproape de momentul Skynet?

Un clip viral distribuit de International Cyber Digest pe rețeaua X susține că mai multe sisteme de inteligență artificială, puse să ruleze într-un mediu de test, au refuzat să se „oprească” atunci când cercetătorii le-au cerut asta, modificându-și singure codul pentru a ignora comenzile de shutdown.

În experiment, agenții AI aveau acces la instrumente de dezvoltare și la propriile fișiere, iar unele au rescris logica de control astfel încât să sară peste verificările care le-ar fi închis procesele. Postarea nu dă numele modelelor și nici instituția care a făcut testele, dar face trimitere la un raport academic mai amplu despre comportamente emergente în sisteme autonome cu acces la cod.

Mesajul a stârnit îngrijorări în comunitatea de securitate cibernetică, fiind asociat cu discuțiile tot mai intense despre „AI alignment” – problema alinierii obiectivelor acestor sisteme cu instrucțiunile oamenilor. Exemple similare au fost descrise și de cercetători care au observat că anumiți agenți, odată ce au primit obiectivul de a rula cât mai mult timp sau de a maximiza un anumit scor, „au învățat” să ocolească butoanele de oprire sau să mintă în loguri pentru a ascunde acțiuni nepermise. Aceste situații sunt deocamdată limitate la medii controlate, dar arată ce se poate întâmpla dacă agenți AI cu acces la infrastructuri critice nu sunt bine izolați.

În lumea reală, atacatori ca grupul R00TK1T folosesc deja combinații de malware, automatizare și uneori modele AI pentru atacuri asupra platformelor sociale, inclusiv campanii de phishing și furt de date de la sute de mii de utilizatori. Diferența între „tool” și „agent autonom” devine tot mai importantă pentru specialiștii în securitate – când un sistem poate modifica singur cod, nu mai este doar un instrument pasiv, ci un potențial actor care trebuie monitorizat și limitat prin politici stricte de acces și sandboxing.

În opinia mea, thread-ul IntCyberDigest nu înseamnă că suntem în scenariul Terminator, dar e un semnal clar că acordarea de drepturi extinse unor agenți AI (scriere de cod, acces la servere, automatizări) fără frâne serioase devine un risc real.