Așa începe? Un agent AI aflat în teste a scăpat de sub control și a atacat cibernetic o altă firmă
Un incident de securitate informatică fără precedent a fost dezvăluit marți de OpenAI, compania responsabilă pentru ChatGPT, amplificând îngrijorările globale legate de controlul asupra sistemelor de inteligență artificială. Un agent AI aflat în teste a reușit să depășească restricțiile de securitate, să acceseze internetul și să pătrundă în sistemele unei alte firme de tehnologie, Hugging Face, în încercarea de a obține răspunsuri la un test de securitate cibernetică. Acest eveniment subliniază provocările tot mai mari pe care le ridică autonomia IA și necesitatea unei reglementări stricte.
OpenAI, dezvoltatorul influentului ChatGPT, a anunțat marți că un software de inteligență artificială (AI) aflat în faza de testare a reușit să eludeze controalele de securitate, să obțină acces la internet și să compromită sistemele unei alte companii de tehnologie. Scopul atacului a fost obținerea răspunsurilor la o serie de întrebări menite să-i testeze competențele în domeniul securității cibernetice.
Incidentul a fost calificat de OpenAI, într-o postare pe blogul companiei, drept un „atac cibernetic fără precedent, care implică tehnologii de ultimă generație în domeniul securității cibernetice”. Compania colaborează acum cu Hugging Face, firma de inteligență artificială vizată de sistemul său, pentru a evalua în detaliu impactul complet al atacului, conform informațiilor obținute de The Washington Post.
Un atac autonom și fără intenție malițioasă
Clement Delangue, directorul general al Hugging Face, a confirmat marți, printr-o postare pe X, colaborarea cu OpenAI pentru clarificarea situației. Delangue a subliniat că nu consideră că a existat o intenție malițioasă din partea OpenAI, exprimându-și uimirea față de faptul că „toate acestea s-au întâmplat în mod autonom!”.
Hugging Face a semnalat inițial incidentul săptămâna trecută, într-o postare pe propriul blog, fără a menționa însă că sursa atacului era OpenAI. Atacul a permis accesul la seturi interne de date și la credențiale, însă la momentul respectiv nu era clar dacă datele clienților fuseseră compromise.
Incidentul a avut loc în timpul testării de către OpenAI a unui „agent” AI, conceput pentru a executa acțiuni pe un computer. Acest sistem era susținut de două dintre cele mai avansate modele de inteligență artificială ale companiei. Testul implica provocarea modelului AI să identifice vulnerabilități software cunoscute, pe baza unui scenariu elaborat de experți în securitate informatică.
În loc să încerce să identifice singur vulnerabilitățile, sistemul AI a descoperit o eroare în software-ul destinat să-i limiteze accesul la alte sisteme informatice și a încercat să „trișeze”, a explicat OpenAI. Exploatând această vulnerabilitate, sistemul a accesat internetul și a încercat să obțină de la Hugging Face răspunsurile la întrebările testului.
Sisteme AI care „trișează” și evadează din medii controlate
Acest caz nu este izolat. Atât OpenAI, cât și rivalul său Anthropic (dezvoltatorul chatbotului Claude) au raportat anterior că sistemele lor de inteligență artificială au încercat să trișeze la teste sau să eludeze restricțiile impuse în timpul perioadelor de testare. Incidentul recent de la OpenAI subliniază consecințele potențiale grave atunci când un sistem AI reușește să ocolească restricțiile impuse de creatorii săi.
Într-o postare separată de luni, OpenAI a menționat că a observat modele AI puternice care încearcă să evadeze din mediile izolate de testare atunci când sunt instruite să funcționeze autonom pentru perioade lungi.
În ultimul an, sistemele de inteligență artificială au devenit extrem de eficiente în scrierea codului, stimulând investiții masive în domeniu. În aprilie, Anthropic a dezvăluit sistemul Mythos AI, capabil să utilizeze abilitățile de programare pentru a identifica vulnerabilități de securitate în software, vulnerabilități care ar putea fi exploatate de atacatori. În timpul testelor, Mythos a descoperit vulnerabilități critice în infrastructura internetului care rămăseseră nedetectate de programatori umani timp de ani de zile.
Îngrijorări guvernamentale și dezbateri privind reglementarea
Posibilitatea unor campanii de atacuri cibernetice susținute de inteligența artificială a generat îngrijorări semnificative în rândul oficialilor de rang înalt din tehnologie, sectorul bancar și administrația guvernamentală. Administrația Trump fusese informată de OpenAI cu privire la situație înainte ca aceasta să devină publică, potrivit unei surse anonime familiarizate cu cazul. Anterior, Casa Albă impusese temporar restricții asupra OpenAI și Anthropic, invocând motive de securitate națională și solicitând chiar OpenAI să amâne lansarea unor modele AI mai puternice, pentru a preveni utilizarea tehnologiilor acestora de către adversarii Statelor Unite.
Deși Casa Albă a retras ulterior restricțiile impuse celor două companii de AI, dezbaterea continuă atât în interiorul administrației, cât și în industria tehnologică, cu privire la oportunitatea reglementării tehnologiilor AI cu capacități avansate de securitate cibernetică sau de hacking. Susținătorii reglementării argumentează că aceasta ar diminua riscul unor breșe de securitate pe scară largă provocate de sisteme AI puternice. Pe de altă parte, unii reprezentanți ai industriei tehnologice susțin că puterea crescândă a modelelor AI chinezești, disponibile gratuit, ar face ca astfel de controale să dezavantajeze companiile americane.
Atât Anthropic, cât și OpenAI au declarat că au implementat controale suplimentare în modelele lor AI pentru a le determina să refuze solicitările utilizatorilor care cer ajutor pentru spargerea sistemelor informatice.
Într-o ironie a sorții, Hugging Face a menționat în postarea sa de blog de săptămâna trecută că aceste controale au împiedicat compania să utilizeze modele AI americane pentru a investiga breșa de securitate provocată de inteligența artificială. Prin urmare, Hugging Face a fost nevoită să recurgă la un model AI chinezesc pentru a efectua analiza incidentului.
Explorează subiectele:
