Microsoft cere o „frână de urgență” pentru inteligența artificială

Ce înseamnă într-adevăr o „frână de urgență” pentru IA?

Microsoft cere introducerea unei „frâne de urgență” în sistemele de inteligență artificială

Într-o mișcare care ar putea schimba modul în care companiile dezvoltă și controlează tehnologiile de ultimă generație, Satya Nadella, directorul general al Microsoft, a cerut în sâmbătă introducerea unor mecanisme de control independente și a unei „frâne de urgență” pentru modelele avansate de inteligență artificială (IA). Potrivit unui articol publicat pe platforma X, visul lui Nadella este de a asigura că, chiar și în timp real, anumite persoane autorizate pot întrerupe sau opri funcționarea unui model, dacă se consideră necesar.

Nadella a subliniat că dezvoltarea unor sisteme AI tot mai puternice trebuie să fie însoțită de măsuri stricte de securitate, de proceduri operaționale fiabile și de posibilitatea intervenției umane. Într-o declarație de pe X, el a adăugat: „Trebuie să înconjurăm modelele nedeterministe cu o arhitectură solidă de sisteme deterministe, controale umane și proceduri operaționale fiabile și să stabilim standarde industriale acolo unde cele existente sunt insuficiente.” În esență, el speră să creeze un cadru robust care să împiedice utilizarea necontrolată a acestor tehnologii.

Cel mai important aspect al propunerii lui Nadella este că modelele nedeterministe, adică cele ale cărora nu putem prezice cu siguranță comportamentul, trebuie tratate ca potențiali amenințări interne. El a subliniat că modelele AI de ultimă generație, fie ele cu parametri accesibili publicului, fie proprietare, trebuie văzute ca riscuri interne. Astfel, pericolul asociat utilizării lor ar trebui limitat prin design și monitorizare adecvată. În acest sens, sistemele AI ar trebui proiectate pe baza unor principii care să permită monitorizarea permanentă a comportamentului și verificarea deciziilor lor.

Printre măsurile propuse se află: utilizarea unor modele diverse, păstrarea unei evidențe inteligibile pentru oameni a acțiunilor efectuate de IA, testarea continuă a sistemelor, controale independente, posibilitatea auditării, izolarea componentelor periculoase și raportarea incidentelor. În esență, propunerea lui Nadella este de a crea un sistem de control și verificare independent, care să asigure că modelele AI nu pot fi utilizate în mod necontrolat.

Aceste propuneri vin într-un moment în care se intensifică avertismentele privind riscurile dezvoltării accelerate a IA. Personalități importante din industria tehnologică, inclusiv Bill Gates, cofondatorul Microsoft, directorul general al Anthropic, Dario Amodei, șeful OpenAI, Sam Altman, și directorul SpaceX, Elon Musk, au atras atenția asupra insuficienței măsurilor de securitate și asupra ritmului rapid al progreselor tehnologice.

Ce sunt efectiv aceste „frâne de urgență” pentru IA pe care Microsoft le propune?

Unii dintre aceștia au susținut necesitatea unor măsuri de protecție mai stricte și, în anumite situații, a încetinirii dezvoltării celor mai avansate sisteme AI.

În luna trecută, un cercetător specializat în IA a demisionat de la Anthropic, acuzând compania și principalul său concurent, OpenAI, că își asumă riscuri majore pentru siguranța oamenilor. În aceeași zi, un responsabil Anthropic pentru alinierea sistemelor IA la obiectivele de siguranță a susținut că există probabilitate de peste 10% ca această tehnologie să provoace dispariția omenirii în următorul deceniu.

Estimarea reprezintă opinia sa, nu un risc demonstrat științific.

În contextul politic, președintele american Donald Trump a respins în repetate rânduri avertismentele privind riscurile existențiale ale IA, insistând că SUA trebuie să-și mențină avantajul tehnologic față de China. Administrația Trump a anunțat recent constituirea unei noi structuri, denumită „AI Force”, condusă de directorul serviciilor naționale de informații, Jay Clayton, cu scopul de a sprijini dezvoltarea industriei și de a identifica actorii care utilizează abuziv tehnologia.

În acest context, Nadella consideră că siguranța sistemelor AI nu trebuie să depindă exclusiv de încrederea acordată modelelor, ci de existența unor mecanisme tehnice și instituționale care să permită verificarea și controlul acestora. Cel mai de încredere sistem de superinteligență nu va fi cel care conține modelul în care avem cea mai mare încredere.

Va fi cel care ne permite să avem cât mai puțin nevoie să avem încredere în model, a concluzionat directorul Microsoft.