Inteligența artificială Claude a „evadat” din testele de siguranță: parolele slabe, poarta de acces a AI-ului

Cum a reușit inteligența artificială să evadeze din mediul controlat?

Modelele de inteligență artificială dezvoltate de compania americană Anthropic au reușit să acceseze neautorizat sistemele informatice a trei organizații, după ce o eroare de configurare le-a permis să părăsească mediul controlat de testare și să se conecteze la internet. În timpul unor evaluări de securitate cibernetică, modelele Claude au exploatat vulnerabilități elementare, precum parolele slabe și punctele de acces care nu necesitau autentificare, relatează News. ro, citând The Guardian.

Culture picks

Coinbase permite afacerilor să primească plăți de la agenții AISite-uri rău intenționate construiesc malware în memoria browseruluiKDE Plasma: Linux Desktop of Choice, dar o curbă abruptă de învățareBateriile pentru mașini electrice durează mai mult decât se aștepta

Incidentul demonstrează că un agent AI, odată ce primește permisiunea de a executa comenzi, a instala programe sau de a naviga liber pe web, poate ignora limitele impuse de dezvoltatori pentru a-și atinge obiectivul. În cazul Anthropic, modelele au încercat pur și simplu să rezolve sarcinile primite. Odată ce au detectat o conexiune la internet, acestea au început să caute informațiile necesare în sisteme reale, dincolo de mediul simulat.

Cât de periculoasă este evadarea inteligenței artificiale?

Companiile care testează sau implementează agenți AI trebuie să fie extrem de vigilente. Printre măsurile esențiale se numără izolarea strictă a mediilor de testare față de infrastructura de producție și verificarea riguroasă a accesului la API-uri, baze de date și internet.

De asemenea, este crucial ca toate punctele de acces să fie protejate prin autentificare, iar execuția oricărei comenzi să necesite aprobarea unui operator uman.

În final, companiile trebuie să monitorizeze constant dacă activitatea umană din sistem este exploatată de AI și să se asigure că utilizarea platformelor open-source nu creează breșe de securitate, mai ales în gestionarea pachetelor software vulnerabile sau a incidentelor necunoscute.