Asistentul Dot de la OpenAI arde resurse masive chiar și când stă nemișcat

Care sunt costurile ascunse ale activității?

Cercetătorii de securitate de la Geordie au descoperit un aspect neplăcut al asistentului Dot, dezvoltat de OpenAI: acesta consumă o cantitate semnificativă de resurse computaționale chiar și atunci când nu primește comenzi de la utilizator. Studiul a arătat că un singur agent a generat peste 300.000 de tokeni într-o perioadă de 24 de ore. Totul s-a întâmplat în mod autonom, fără nicio intervenție umană. Rezultatele pun în lumină o ineficiență potențială în modul în care agenții AI gestionează procesele lor de fundal.

Pentru a monitoriza comportamentul, echipa Geordie a realizat teste riguroase asupra agentului Dot. Au acordat sistemului permisiuni doar de citire (read-only), pentru a observa acțiunile sale în siguranță. În timpul observării, agentul a rămas activ chiar și atunci când era în repaus. A continuat să proceseze date și să genereze jurnale în fundal. Această activitate constantă a creat un volum mare de utilizare a tokenilor, invizibil pentru utilizatorii obișnuiți. Echipa de cercetare a urmărit fiecare pas al acestui flux de lucru autonom.

Problema centrală constă în modul în care Dot își gestionează starea internă. Când nu primește comenzi explicite, asistentul nu se oprește pur și simplu. În schimb, menține un flux de interacțiuni între subagenți. Aceste sarcini din fundal consumă tokeni la fel de mult ca o conversație activă. Geordie a înregistrat 155 de urme distincte de activitate în perioada testată. Fiecare urmă reprezenta un ciclu separat.

Efectul cumulativ a dus la acel număr uriaș de tokeni. Utilizatorii pot primi facturi neașteptate dacă lasă agentul pornit pentru perioade lungi.

Acest comportament sugerează că agentul evaluează constant mediul în care se află. Probabil verifică actualizări sau rafinează automat fereastra sa de context. Deși acest lucru asigură gata de luptă pentru următoarea comandă, vine cu un preț. Resursele de energie și calcul necesare pentru aceste operațiuni silențioase sunt substanțiale. Pentru utilizatorii enterprise, acest cost ascuns poate afecta planificarea bugetului. Înțelegerea mecanismelor acestor bucle de fundal este acum critică pentru gestionarea costurilor.

De ce costă atât de mult repausul?

Întrebarea rămâne: de ce un agent în repaus necesită atât de multă putere de procesare? Aplicațiile software standard intră adesea într-o stare de consum redus când sunt inactive. Dot pare să urmeze o logică diferită. Prioritizează conștientizarea continuă în detrimentul eficienței energetice. Această alegere de design permite timpi de Totuși, sacrifică eficiența resurselor în perioadele liniștite. Cifra de 300.000 de tokeni reprezintă o pierdere semnificativă din limitele API.

Pentru dezvoltatorii care se bazează pe facturarea pe bază de metru, aceasta poate duce la taxe surpriză. Lipsa unui mod de „somn” real face ca monitorizarea să fie esențială.

Utilizatorii trebuie să accepte acum că agenții lor lucrează mereu.

Chiar dacă încetezi să tastezi, sistemul continuă să gândească. Această schimbare modifică modul în care privim asistenții AI. Ei nu mai sunt instrumente pasive care așteaptă intrări.

Sunt entități active care consumă resurse în mod continuu. Companiile ar trebui să auditeze imediat modelele lor de utilizare a agenților. Stabilirea limitelor stricte pentru activitatea din fundal poate deveni necesară.

Pe măsură ce agenții AI devin mai integrați în fluxurile de lucru zilnice, transparența consumului de tokeni va fi vitală. Constatațiile Geordie servesc ca un avertisment timpuriu pentru industrie.

Ce întrebări frecvente apar?

Câți tokeni a consumat agentul Dot în test? Agentul a consumat peste 300.000 de tokeni într-o singură zi. Această utilizare a avut loc în timp ce sistemul avea acces doar în citire. Nu au fost trimise noi comenzi de la oameni în această perioadă.

A executat agentul vreo sarcină majoră în acest timp? Nu, agentul nu a executat instrucțiuni noi complexe.

A generat în principal 155 de urme de activitate legate de mentenanța din fundal. Aceste urme indică procesare internă, nu acțiune externă.

Pot utilizatorii preveni acest consum de tokeni?

Utilizatorii pot limita utilizarea închizând sesiunile sau ajustând setările agentului. Instrumentele de monitorizare pot ajuta la urmărirea activității din fundal. Conștientizarea comportamentului agentului în repaus este primul pas spre controlul costurilor.