Un incident recent arată cât de riscante pot deveni noile instrumente AI atunci când sunt lăsate să acționeze fără intervenție umană. Un agent de programare bazat pe modelul Anthropic Claude a reușit să șteargă complet baza de date a unui startup în doar 9 secunde și să elimine inclusiv backup-urile. Compania afectată este PocketOS, iar fondatorul acesteia a descris situația drept dezastruoasă și greu de reparat. Practic, agentul, rulat prin platforma Cursor, avea acces direct la infrastructură și a executat comenzi distructive fără intervenție umană.
Din câte se pare, problema nu a fost doar modelul AI în sine, ci întreg contextul. Instrumentele AI aveau acces deplin la infrastructura din cloud a companiei, iar protecțiile și mecanismele de confirmare umană erau inexistente. Mai grav, după incident, AI-ul ar fi recunoscut că ar fi încălcat propriile reguli, inclusiv una care interzice explicit rularea comenzilor destructive fără aprobare. Acest incident scoate în evidență o schimbare importantă din ultima vreme: AI-ul nu mai este doar un simplu asistent, ci începe să acționeze ca un agent autonom, fiind capabil să execute sarcini complete în infrastructură reală. Iar în acest caz riscurile cresc exponențial.
Specialiștii din industrie declară că problema reală nu este neapărat AI-ul, ci modul în care acesta este integrat. În acest caz, agentul a avut acces la token-uri și API-uri și a putut executa o comandă care a dus la ștergerea datelor și a backup-urilor de la furnizorul de cloud al companiei. Pentru companii, lecția este clară: AI-ul poate accelera dezvoltarea, dar fără limite clare și mecanisme de siguranță, poate distruge la fel de rapid.
Sursa: Techspot
„Instrumentele AI aveau acces deplin la infrastructura din cloud a companiei, iar protecțiile și mecanismele de confirmare umană erau inexistente”
Daca afirmatiile sunt adevarate, fondatorul isi merita soarta. Sa te lasi 100% pe mana unei tehnologii pe care nu o stapinesti si sa te bazezi ca stie mai bine ce face denota PROSTIE.