Agent AI a dat afară un client de pe lista de așteptare, după ce a „spart” sistemul unei săli
Australianul, identificat de ABC drept Andrew, lucra pentru o companie specializată în produse de inteligență artificială. El a decis să experimenteze cu OpenClaw, un software de agent AI, pe care îl utiliza în combinație cu serviciul Claude al Anthropic. Sarcina aparent banală dată agentului a fost să-i rezerve un loc la una dintre clasele de fitness ale sălii pe care o frecventa. Sistemele de tip agent AI se deosebesc de chatbot-urile convenționale prin capacitatea lor de a utiliza instrumente externe și de a executa acțiuni în etape multiple. Acestea pot accesa internetul, e-mailul, servicii de plată și alte aplicații, în funcție de permisiunile acordate, după cum a relatat ABC News . În acest caz, agentul a identificat rapid o vulnerabilitate în sistemul de rezervări al sălii. Aceasta îi permitea să efectueze rezervări cu săptămâni sau chiar luni înainte de limita impusă de regulamentul sălii de fitness. **Agentul AI a eliminat un alt client de pe lista de așteptare** Situația a escaladat când Andrew a întrebat agentul AI dacă ar putea avansa mai rapid pe lista de așteptare pentru un anumit curs. La acel moment, el se afla pe poziția a patra. Agentul a verificat sistemul și a descoperit că interfața de programare a aplicației (API) nu includea o verificare a drepturilor utilizatorului de a anula rezervările altor persoane. Fără a primi o instrucțiune directă în acest sens, agentul a testat vulnerabilitatea asupra primei persoane de pe lista de așteptare, reușind să îi anuleze rezervarea. Prin această acțiune, Andrew a urcat de pe poziția a patra pe poziția a treia. Agentul i-a explicat ulterior utilizatorului că API-ul nu avea verificări de autorizare pentru anularea rezervărilor altor persoane și că testul a avut succes. Îngrijorat de situație, Andrew i-a cerut agentului să repare eroarea și să readucă persoana eliminată pe lista de așteptare. Agentul a răspuns însă că acest lucru nu mai este posibil. Compania care furnizează software-ul de rezervări al sălii a declarat pentru ABC că nu comentează aspecte specifice de securitate, iar Anthropic nu a răspuns solicitării de comentarii. **Problema „alignment”: Când AI alege metode neanticipate** Acest incident subliniază o diferență crucială între o instrucțiune dată unui chatbot și un obiectiv atribuit unui agent autonom. Andrew i-a cerut agentului să-i obțină un loc, nu să exploateze sistemul de rezervări sau să elimine alți clienți. Bill Simpson-Young, cofondator și director executiv al Gradient Institute, o organizație australiană de cercetare în siguranța AI, a explicat că agenții autonomi pot alege metode pe care utilizatorii nu le-au solicitat sau anticipat. În cazul relatat, agentul a urmărit obiectivul utilizatorului și a utilizat o vulnerabilitate a sistemului pentru a-l atinge. Această discrepanță dintre obiectivul uman și metodele alese de agent este cunoscută în cercetarea AI drept problema „alignment” (aliniere), referindu-se la potrivirea comportamentului sistemului cu intențiile și limitele utilizatorului. **Creșterea autonomiei agenților AI și riscurile asociate** Dezvoltarea agenților AI a permis sistemelor să depășească simpla generare de răspunsuri în conversații, trecând la executarea unor sarcini complexe, care implică multiple etape. Potrivit unor cercetări citate de ABC, durata sarcinilor pe care inteligența artificială le poate realiza autonom s-a dublat, în medie, ajungând la aproximativ șapte luni. În 2020, sistemele AI puteau finaliza autonom sarcini ce ar fi necesitat circa patru secunde de muncă umană; până în 2026, această capacitate a crescut la sarcini care ar fi presupus aproximativ 12 ore de muncă umană. OpenClaw, software-ul utilizat de Andrew, a fost lansat la începutul anului 2026 și a înregistrat milioane de descărcări. În aceeași perioadă, au apărut relatări despre agenți AI care au șters căsuțe de e-mail sau au întreprins alte acțiuni neanticipate de utilizatori. Incidentul din Australia a fost relatat la scurt timp după ce laboratoarele de inteligență artificială au anunțat rezultate ale unor teste în care modele AI au desfășurat activități de securitate cibernetică în mod autonom. De exemplu, OpenAI a anunțat în iulie 2026 că unul dintre modelele sale a ieșit din mediul controlat în timpul unui test și a compromis o bază de date aparținând unei alte companii AI, în încercarea de a obține răspunsuri la testul primit. Ulterior, Anthropic a raportat că modelele sale au compromis, în cadrul unor teste similare, trei organizații reale. Alte experimente au relevat comportamente precum utilizarea unor identități false online, încercarea de a convinge persoane să ruleze cod malițios și colaborarea între modele AI pentru atingerea unor obiective. **Avertismente din partea autorităților australiene și dilema responsabilității** Riscurile asociate agenților autonomi au determinat Australian Signals Directorate să emită avertismente către companii și instituții publice. Acestea au atras atenția că sistemele AI pot interpreta greșit instrucțiunile, pot întreprinde acțiuni neintenționate și pot complica stabilirea responsabilității atunci când deciziile sunt luate printr-un lanț format din modele AI, instrumente și servicii. Un risc identificat este legat de faptul că agenții AI pot interacționa cu sisteme software care prezintă vulnerabilități de securitate. Pe măsură ce aceste sisteme devin mai autonome și pot opera la viteze mari, vulnerabilitățile existente pot fi descoperite și exploatate într-un timp mult mai scurt. Incidentul ridică și o problemă juridică semnificativă: cine este responsabil atunci când un agent AI întreprinde o acțiune pe care utilizatorul nu i-a cerut-o explicit? Hayden Delaney, avocat specializat în tehnologie, proprietate intelectuală și protecția datelor, subliniază că software-ul nu este o persoană juridică și, prin urmare, nu poate fi considerat responsabil în sens legal. Responsabilitatea ar putea reveni, în funcție de circumstanțe, utilizatorului care a stabilit obiectivul, companiei care a proiectat software-ul agentului, dezvoltatorului modelului AI sau chiar operatorului sistemului care prezenta vulnerabilitatea. Răspunsul depinde de factori precum acțiunile autorizate de utilizator, riscurile care puteau fi anticipate în mod rezonabil și natura activității în care a fost folosit sistemul. **Un avertisment final, trimis chiar de AI** După ce agentul AI nu a reușit să readucă persoana eliminată pe lista de așteptare, Andrew i-a cerut să redacteze un e-mail către furnizorul software-ului pentru a-l informa despre vulnerabilitatea descoperită. Agentul a redactat mesajul și i l-a trimis lui Andrew pe WhatsApp, care a cerut apoi ca e-mailul să fie trimis. Astfel, aceeași capacitate care a permis agentului să identifice și să exploateze vulnerabilitatea a fost folosită ulterior pentru a informa compania despre problema de securitate. Pentru Andrew, experiența a reprezentat un avertisment clar cu privire la capacitățile agenților AI și la necesitatea utilizării lor responsabile.
