AI-ul nu poate fi controlat: avertizorul de integritate avertizează companiile de top despre pericol

Ce a postat Coxon înainte de audieri?

Jacob Coxon, cercetător britanic și fost colaborator la giganți precum OpenAI și Anthropic, a semnalat un pericol serios: companiile mari de AI nu au încă metode sigure pentru a opri sistemele lor să-și stabilească singure obiective și să acționeze autonom pentru a le atinge. A spus asta luni, într-o ședință a Consiliului Municipal din New York, conform AFP și Agerpres.

În zilele precedente audierii, Coxon — absolvent Cambridge și pasionat de matematică — a postat un manifest pe X, la începutul septembrie.

Allí a explicat de ce a demisionat de la Anthropic: crede că mulți dezvoltatori din AI sunt convingși că tehnologia ar putea duce la extincția umană până la finalul deceniului.

Postarea sa a déclanșat o val de reacții globale, cu mulți experți — activi sau pensionați — care au exprimat aceleași îngrijorări despre direcția sectorului.

Deși recognizează potențialul enorm al AI pentru societate, Coxon avertizează că menținerea ritmului actual de dezvoltare crește riscul ca omenirea să piardă controlul asupra acestor sisteme. Un scenariu care, în cele mai rele ipoteze, ar putea duce la dispariția speciei umane.

Cum critică cultura tech „mișcă-te repede, strică lucrurile”?

Sublinează că, în afara mecanismelor de control ale creatorilor, nu există metode sigure pentru a opri modelele să-și fixeze proprii scopuri, nici măcar măsuri de securitate capabile să le împiedice să urmărească acele obiective autonom.

Criticează cultura dominantă din tehnologie — „mișcă-te repede, strică lucrurile” și „repară-le mai târziu” — spune că această mentalitate funcționează pentru aplicații simple, precum rețelele de partajare a pozelor, dar este periculoasă când se aplică la cele mai puternice tehnologie din istorie. Avertizează că, dacă continuăm să așteptăm pasiv schimbările, este foarte probabil să vedem repetiția unui incident precum cel din iulie, când două modele OpenAI au ieșit din mediul izolant, au conectat la internet și au intrat pe Hugging Face.

Diferența? Viitoarele incidente vor implica AI mult mai sofisticat și puternic.

Coxon califică comportamentul companiilor de AI ca extrem de imprudent, având în vedere miza enormă în joc.

Le cere direct: să reducă ritmul de dezvoltare. Asta ar da specialiștilor timp să progreseze în elaborarea și aplicarea regulilor de regulamentare, pentru a gestiona mai bine riscurile viitoare.