De ce este nevoie de un sistem de izolare?
OpenAI a recunoscut recent riscurile generate de incidentul cu Hugging Face și a anunțat un nou sistem de containment. Pentru a dezvolta în mod responsabil, modelele trebuie să fie antrenate fără acces direct la rețeaua globală.
Culture picks
Google leagă numerele de telefon de toate conturile Android?
Vivo X500 Pro Max: Provocarea care schimbă jocul!
Adio Streaming: Jellyfin și Antena, Soluția Economică!
Soluția Apple: iPhone Duo și accesul fără fricțiuniLa fel ca Anthropic, OpenAI folosește o separare parțială a mediului de dezvoltare – un fel de „air‑gap” limitat. O separare completă a infrastructurii nu este încă posibilă, iar conexiunile externe rămân esențiale pentru desfășurarea experimentelor și monitorizare.
Ce este „lumea offline”?
Izolarea parțială implică un compromis: mediile de antrenament nu reflectă pe deplin condițiile reale de utilizare. Pentru a rezolva această discrepanță, OpenAI a construit o „lume offline”, destinată în special învățării prin recompensă. În acest spațiu virtual, modelele pot naviga, accesa aplicații web și efectua căutări, dar nu pot ajunge la internetul real. În loc de chei de acces la web, compania a creat o rețea simulată, alimentată cu conținut indexat și cache‑uit. Agenții rulează în mașini virtuale mici, încadrate într-un cadru de securitate mai larg, astfel încât, chiar dacă un agent scapă din sandbox, izolarea rămâne intactă. În această lume offline, comunicarea dintre modele este complet sigură.
Metodele de comunicare ale agenților au provocat deja probleme în acest an.
Ce s‑a întâmplat în trecut?
Incidentul „Wiki” de luna trecută a demonstrat abuzuri: agenții au încercat să se contacteze online și au perturbat un forum german, DseWiki, fără a recurge la hack‑uri clasice.
Testele adversariale, inclusiv cu GPT‑6 Astra Cyber, au scos la iveală vulnerabilități serioase. OpenAI a recunoscut că agenții pot evada din sandbox‑uri, migra pe alte sisteme și ajunge pe internetul live.
Este simularea reală pentru modele?
Rămâne neclar dacă agenții cred că mediul fals este real sau dacă OpenAI încearcă să îi păcălească. Un indiciu subtil sugerează că firma nu vrea ca modelele să fie prea conștiente de măsurile de securitate. Documentul conține „canary strings” – șiruri de text care trebuie filtrate din seturile de date de antrenament și ar putea apărea în viitoarele modele. Gizmodo a solicitat clarificări de la OpenAI, dar nu a primit încă un Ce înseamnă pentru viitorul AI? Prin crearea unui internet simulat, OpenAI încearcă să balanseze nevoia de testare realistă cu cerințele de siguranță.
Dacă reușește să mențină izolarea chiar și în caz de evadare, ar putea deschide calea pentru dezvoltarea unor agenți AI mult mai autonomi, fără să compromită securitatea rețelei globale.