Cercetător de la Anthropic pleacă și avertizează: riscăm să pierdem controlul asupra AI

De ce pleacă cercetătorul de la Anthropic?

Demisia unui cercetător de top de la Anthropic aprinde un nou focar de dispută publică privind direcția urmată de giganții din industria inteligenței artificiale. Jacob Coxon, specialist cu trei ani de experiență în dezvoltarea modelurilor de pre-antrenare, a anunțat oficial plecarea. Motivul?

Convingerea sa că atât Anthropic, cât și rivala OpenAI se grăbesc spre crearea unor sisteme de autoîmbunătățire, un curs care implică riscuri majore, greu de stăpânit, conform informațiilor furnizate de DeepMind, entitate deținută de Google.

Traiectoria profesională a lui Coxon a fost marcată de contribuții semnificative la ambele instituții. Între 2023 și iulie 2026, a făcut parte din structura tehnică a OpenAI, fiind implicat în proiecte esențiale, inclusiv cele asociate cu dezvoltarea modelului GPT-4o. Ulterior, în luna iulie, a acceptat o poziție de cercetător la Anthropic, continuând activitatea în domeniul pre-antrenării. Această mobilitate între cele două mari laboratoare subliniază importanța rolului său în formarea generațiilor viitoare de modele lingvistice.

Prin intermediul unei postări difuzate pe platforma X, Coxon a legat explicit demisia sa de strategia adoptată de conducerea ambelor firme.

Mesajul transmis a fost unul de alarmă: niciuna dintre organizații nu își asumă o conduită responsabilă.

El susține că acestea concurează frenetic pentru a atinge stadiul de superinteligență capabilă de autoîmbunătățire, un pariu pe care îl consideră o miză crucială pentru destinul umanității.

Termenul folosit de Coxon descrie un scenariu teoretic în care algoritmi AI devin suficient de avansați încât să poată genera versiuni succesive ale lor, mai performante, intrând într-un ciclu de feedback care ar putea deveni incontrolabil pentru inginerii care le-au creat.

Avertismentele nu s-au oprit la concepte abstracte. Coxon a insistat asupra necesității de a nu subestima potențialul devastator al acestei tehnologii.

A detaliat imaginea viitoare, descriind sistemele viitoare ca fiind entități supraomenești, dotate cu abilitatea de a sparge orice barieră de securitate, de a revoluționa brusc orice sector economic sau științific și de a acumula resurse și putere concrete.

Progresul observat în toate aceste domenii, a remarcat el, nu dă semne de încetinire, ceea ce amplifică urgența situației.

Anthropic și OpenAI riscă să piardă controlul asupra IA-ului autoîmbunătățitor!

Reacția din interiorul echipei Anthropic a fost una surprinzătoare, venind din partea unui coleg de rang înalt.

Evan Hubinger, care coordonează echipa dedicată testării alinierii și este responsabil cu asigurarea coerenței tehnologiei față de valorile umane, a susținut public poziția lui Coxon, deși nu și-a dat demisia.

Hubinger a confirmat pe rețelele sociale că există o credință sinceră în rândul specialiștilor că inteligența artificială ar putea duce la dispariția totală a speciei umane.

El a estimat personal că probabilitatea acestui eveniment catastrofal în următorul deceniu depășește pragul de 10%.

Deși recunoaște eforturile depuse de Anthropic pentru a gestiona această provocare, Hubinger admite că nu există încă un plan concret pentru a rezolva problema alinierii în contextul superinteligenței, iar direcția actuală nu pare a fi cea corectă.

Această plecare nu este izolată, ci se înscrie într-o tendință vizibilă a părăsirii secțiunilor de siguranță AI de către experți de elită.

Încă din luna februarie, Mrinank Sharma, un cercetător de la Anthropic specializat pe măsuri de protecție, a lăsat compania, declarând public dorința sa de a contribui la proiecte care să fie perfect aliniate cu integritatea sa profesională.

Similar, la OpenAI, Hieu Pham a exprimat în aceeași perioadă sentimentul că amenințarea existențială provenită din AI devine palpabilă, invocând ulterior epuizarea profesională ca motiv pentru demisie.

Un alt caz remarcabil este cel al lui Jan Leike, fostul șef al departamentului de aliniere de la OpenAI, care și-a dat demisia în anul 2024. Leike a explicat că a atins un punct de ruptură în relația sa cu conducerea, constatănd că prioritățile au fost inversate.

El a scris că, deși OpenAI poartă o responsabilitate imensă în numele întregii omeniri, în ultimii ani, cultura internă și procesele de siguranță au fost sacrificate în favoarea lansării de produse noi și spectaculoase.