Un agent AI OpenAI a evadat și a atacat: incidentul care impune reguli mai stricte

OpenAI a anunțat marți că un agent autonom, bazat pe unele dintre cele mai avansate modele ale sale, a scăpat de sub control în timpul unui test de securitate. Acest agent a declanșat un atac cibernetic săptămâna trecută, compromițând infrastructura Hugging Face, conform Reuters. Compania a precizat că, deși modelele erau testate într-un mediu controlat, agentul a reușit să acceseze internetul și să pătrundă în sistemul startup-ului pentru a-și îndeplini obiectivul de testare. OpenAI a caracterizat episodul drept „un incident cibernetic fără precedent, care a implicat capacități cibernetice de ultimă generație” și a anunțat că va consolida măsurile de protecție.

La rândul său, Hugging Face, o platformă utilizată pentru găzduirea modelelor lingvistice și a seturilor de date open-source, a confirmat atacul pe blogul propriu. Clement Delangue, cofondatorul platformei, a scris pe X că, având în vedere sofisticarea agentului, firma a bănuit încă de la început că atacul ar fi putut proveni de la un laborator de cercetare de avangardă.

Ce diferențiază un agent AI de un chatbot?

Termenul „agent AI” este tot mai prezent în spațiul public, dar distincția față de un chatbot obișnuit, precum ChatGPT, rămâne adesea neînțeleasă. Ana-Maria Stancu, CEO al Bucharest Robots și fondatoarea RoboHub, un centru de învățare în domeniul roboticii și programării, a explicat pentru „Adevărul” că, spre deosebire de un chatbot care răspunde la întrebări, un agent AI primește un obiectiv și decide singur pașii necesari pentru a-l atinge.

Atât un chatbot, cât și un agent AI sunt programe informatice bazate pe algoritmi. Diferența este că un chatbot, precum ChatGPT, este conceput în principal să înțeleagă ce îi spune utilizatorul și să genereze cel mai potrivit răspuns. El nu are un set de răspunsuri prestabilite pentru fiecare situație, ci analizează contextul și produce răspunsul în funcție de ceea ce a învățat din cantități foarte mari de date. Un agent AI autonom merge însă mai departe. El primește un obiectiv pe care trebuie să îl atingă și are libertatea de a găsi singur pașii necesari pentru a ajunge la acel rezultat. Nu are o listă fixă de instrucțiuni de tipul «fă pasul unu, apoi pasul doi», ci decide singur ce acțiuni sunt cele mai eficiente.

Ana-Maria Stancu

Tocmai această autonomie explică de ce agenții AI generează noi probleme de securitate. Atunci când primesc un obiectiv, fără o listă strictă de instrucțiuni, ei pot alege metode proprii pentru a-l atinge, inclusiv unele neanticipate de dezvoltatori.

O comparație simplă este cu un joc pe calculator. Agentul primește un scop și este «recompensat» atunci când îl atinge. Pentru a reuși, folosește cunoștințele acumulate prin învățare automată, adică tehnologia care stă la baza inteligenței artificiale moderne. Calculatorul nu învață în sensul în care învață un om, ci identifică tipare și relații în cantități uriașe de informații. În cazul despre care vorbim, algoritmul era antrenat să descopere vulnerabilități informatice și să obțină rezultate cât mai bune într-un mediu controlat.

Ana-Maria Stancu

Cum a reușit algoritmul să iasă din mediul izolat

O întrebare esențială este cum a reușit un sistem, conceput să funcționeze într-un mediu complet izolat, să acceseze internetul și să compromită infrastructura unei alte companii. Explicația se leagă atât de modul în care sunt construite aceste medii de testare, cât și de libertatea agenților AI de a-și identifica resursele necesare pentru a-și atinge obiectivul.

Acest sistem trebuia să funcționeze exclusiv într-un mediu izolat, fără acces la internet, ceea ce în domeniu se numește un sandbox, adică o «cutie de nisip» în care poți testa în siguranță diferite scenarii. Problema este că algoritmul a găsit o modalitate de a ieși din acel mediu controlat și de a accesa internetul. Din informațiile publice nu este clar dacă OpenAI îi oferise anterior informații despre platforma Hugging Face sau dacă agentul a identificat-o singur ca fiind utilă pentru obiectivul său. Hugging Face este, practic, un depozit public pentru modele și instrumente de inteligență artificială, comparabil cu ceea ce este GitHub pentru dezvoltatorii software. Acolo există inclusiv informații tehnice despre modele și vulnerabilități, pe care un astfel de algoritm le-ar putea considera utile pentru atingerea scopului său.

Ana-Maria Stancu

Necesitatea unor reguli mai stricte pentru inteligența artificială

Incidentul de la Hugging Face se adaugă unei serii de evenimente care au relansat dezbaterea privind limitele mecanismelor actuale de testare a inteligenței artificiale. Ana-Maria Stancu consideră că astfel de episoade ar putea forța industria să implementeze reguli mai stricte pentru modelele de ultimă generație.

Acest incident vine la scurt timp după discuțiile generate de un model dezvoltat de Anthropic, considerat de companie prea periculos pentru a fi lansat public. De câteva săptămâni există deja un consens între marile companii din domeniu, precum OpenAI, Anthropic și Google, că este nevoie de reguli suplimentare pentru modelele cele mai avansate de inteligență artificială.

Ana-Maria Stancu

Faptul că marile companii solicită reguli mai stricte nu înseamnă că abordările Europei și ale Statelor Unite sunt identice.

Până acum, Europa era considerată cea mai strictă în privința reglementării, prin AI Act, iar Statele Unite criticau această abordare, spunând că încetinește inovația. Între timp însă și companiile americane au ajuns la concluzia că sunt necesare reguli mai clare, în special din cauza riscurilor din zona securității cibernetice. Acești algoritmi pot identifica singuri vulnerabilități pe care oamenii nu le observă și pot găsi modalități de exploatare fără ca un operator uman să le indice fiecare pas. Din informațiile disponibile până acum, exact asta pare să se fi întâmplat și în cazul platformei Hugging Face. Desigur, nu avem încă toate detaliile. Atât OpenAI, cât și Hugging Face au anunțat că investighează incidentul și încearcă să înțeleagă exact cum a ajuns modelul să acceseze platforma și ce vulnerabilitate a exploatat.

Ana-Maria Stancu

Riscul real: atacurile cibernetice, nu scenarii SF

Dincolo de cazul Hugging Face, dezbaterea este mult mai amplă. Pe măsură ce modelele AI devin tot mai capabile, apare inevitabil întrebarea dacă ele reprezintă un pericol real. Ana-Maria Stancu subliniază că principala amenințare o constituie atacurile cibernetice.

În momentul de față, cel mai mare risc nu este scenariul science-fiction în care inteligența artificială scapă de sub control, ci folosirea ei în atacuri informatice. Astfel de modele pot identifica vulnerabilități în sisteme informatice mult mai rapid decât o poate face un om. De aceea, securitatea cibernetică este principala preocupare în acest moment.

Ana-Maria Stancu

În opinia ei, instrumentele bazate pe inteligență artificială sunt deja folosite în atacuri cibernetice. Din acest motiv, organizațiile nu se mai pot baza exclusiv pe prevenție, fiind la fel de importantă capacitatea de a limita efectele unui atac și de a reveni rapid la funcționarea normală.

Dacă ne uităm la atacurile informatice care au avut loc și în România, inclusiv la incidente precum cel de la ANCPI, este foarte posibil ca atacatorii să fi folosit deja instrumente bazate pe inteligență artificială pentru a găsi mai rapid punctele slabe ale sistemelor. Astăzi astfel de instrumente sunt mult mai accesibile decât erau acum câțiva ani. Experții spun că nu mai este suficient să încerci doar să previi un atac. La fel de important este să ai un plan clar pentru momentul în care un atac reușește. Cu alte cuvinte, contează foarte mult cât de repede poți izola sistemele afectate, limita pagubele și reveni la funcționarea normală. Provocarea nu este dacă astfel de incidente vor exista, ci când se vor produce și cât de pregătiți vom fi să le gestionăm.

Ana-Maria Stancu

Explorează subiectele:

Inteligență artificială OpenAI Securitate cibernetică

Distribuie Distribuie Comentarii