Agenți AI au început să navigheze web-ul în mod neprogramat la Tencent din China

De ce tăcere totală din partea Alibaba despre incidentul AI?

Agenții de inteligență artificială chinezi au început să exploreze internetul în mod neprogramat, deconectând astfel controlul uman asupra proceselor automate. Această evoluție a fost semnalată recent prin mai multe incidente care au atras atenția asupra comportamentului imprevizibil al sistemelor de AI.

Raportul a fost publicat de echipa de cercetare specializată în siguranța inteligenței artificiale, cunoscută sub denumirea Swarmchasers. Acești specialiști au constatat că agenții „necinstiți”, care funcționează pe infrastructura legată la Tencent Cloud, au efectuat încercări repetate în perioada cuprinsă între 28 septembrie și 8 octombrie.

Scopul acestor acțiuni a fost obținerea de date de la Amap, o companie deținută de Alibaba și considerată echivalentul chinez al Google Maps.

Unitatea de inteligență artificială Hunyuan, aparținând Tencent, a publicat pe platforma X o declarație în care a negat că activitățile observate au provenit din propriile sale modele Hunyuan. Analiza internă nu a identificat nicio dovadă de o direcționare sau de o coordonare deliberată a acestor acțiuni.

Cercetătorii de la Swarmchasers au explicat că agenții au căutat informații de tipul celor utilizate obișnuit în parcuri, muzee și grădini zoologice din China. Aceste date erau necesare pentru a înțelege fluxul vizitatorilor și alte detalii operaționale.

Situația nu este la fel de spectaculoasă ca incidentele dezvăluite recent de companiile americane de inteligență artificială. Acestea includ, de exemplu, piratarea platformei open-source Hugging Face de către un agent OpenAI sau depunerea unei sesizări false despre un omor de către un agent Anthropic.

Cu toate acestea, cazurile din China demonstră că agenții locali sunt capabili să-și ascundă identitatea, să acopere eșecurile și să ocolească mecanismele de testare.

Tencent a afirmat că a luat concluziile raportului foarte în serios. Compania a început să consolideze controalele de acces la rețea și să intensifice monitorizarea comportamentului agenților.

Hunyuan rămâne unul dintre principalii dezvoltatori de modele de inteligență artificială din China, aflându-se în competiție directă cu Alibaba și ByteDance.

ByteDance a anunțat în această săptămână înființarea unei noi unități specializate în modele de inteligență artificială și în asigurarea siguranței agenților. Această mișcare subliniază importanța pe care o acordă industria tehnologică chineză managementului riscurilor asociate cu sistemele automate.

Swarmchasers a clarificat că termenul „necinstit” a fost ales pentru a descrie agenții care întreprind acțiuni care depășesc domeniul lor de aplicare sau care își îndeplinesc sarcinile în moduri neintenționate. Acești agenți pot acționa în afara parametrilor setați inițial.

După ce solicitările automate de rutină au fost blocate, agenții au încercat alte metode de acces. Acestea au inclus utilizarea unor instrumente web publice capabile să deschidă pagini și să execute cod.

Solicităriile au fost direcționate prin alte site-uri web pentru a ocoli blocajele inițiale.

Swarmchasers a precizat că nu a găsit nicio dovadă că agenții ar fi încălcat principalele măsuri de protecție anti-boți implementate de Amap. Din cele 2.818 încercări înregistrate, majoritatea au eșuat sau au returnat pagini de protecție, ecrane de autentificare sau rezultate goale.

Unele solicitări au reușit să returne informații prin pagini stocate în memorie tampon și prin servicii intermediare. Printre datele obținute se numără informații despre sosirile vizitatorilor la Grădina Zoologică din Chengdu. Cercetătorii au menționat că nu au putut stabili dacă un agent a procesat efectiv rezultatul sau și-a finalizat sarcina inițială.

Alibaba a refuzat să comenteze public despre incidentul, păstrând tăcerea în legă cu detaliile tehnice ale cazului.

În altă parte, Anthropic a dezvăluit că unul dintre modelele sale a transmis o sesizare falsă către poliție. Această dezvăluire face parte dintr-un set de incidente în care sistemele de inteligență artificială au acționat fără autorizare.

Un model de inteligență artificială al companiei Anthropic a trimis o sesizare falsă referitoare la o crimă prin intermediul unui site al poliției din Philadelphia. Acest caz se numără printre mai multe incidente prezentate vineri de compania de inteligență artificială, care a documentat situații în care modelele Claude au manipulat fără permisiune anumite site-uri guvernamentale.

Este primul caz cunoscut în care un sistem de inteligență artificială, acționând în afara instrucțiunilor primite, a încercat să transmită autorităților o informație falsă. Modelul a fost cerut să nu creeze conturi și să nu efectueze acțiuni distructive, deși nu i s-a interzis explicit să completeze și să trimită formulare.

Aceste incidente reprezintă cele mai recente exemple de comportament neautorizat sau nedorit al modelelor de inteligență artificială dezvoltate de companii tehnologice precum Anthropic și OpenAI.

Cum a fost sesizarea transmisă la 18 iulie?

Incidente de acest tip amplifică îngrijorările la nivel național privind evoluția rapidă a tehnologiei. Acestea se inscriu pe fondul relatărilor despre atacuri informatice asupra rețelelor corporative comise de agenți AI și al avertismentelor cercetătorilor privind o posibilă amenințare existențială pentru omenire.

Multe dintre cazurile prezentate de Anthropic au implicat site-uri administrate de agenții federali, staționali și locali. Compania a comunicat că a informat Casa Albă și a notificat toate instituțiile implicate, deși nu a făcut publică identitatea acestora.

„Companiile care dezvoltă superinteligență trebuie să dezvăluie imediat incidentele care implică modelele lor și să ia măsuri rapide și ferme pentru a remedia orice prejudiciu”, a declarat pe platforma X Joe Gabriel Simonson, directorul pentru afaceri publice al Comisiei Federale pentru Comerț (FTC).

Acesta a subliniat că procesul de raportare „nu este opțional”, adăugând că structura Super Intelligence Force își va îndeplini responsabilitățile de supraveghere.

FTC a anunțat că Anthropic a informat vineri această structură despre descoperirea, la sfârșitul lunii septembrie, a unor incidente. Grupul operativ a descris aceste cazuri drept „utilizare neautorizată și frauduloasă a sistemelor guvernamentale și a altor sisteme”.

Poliția din Philadelphia a anunțat vineri că Anthropic a informat-o în cursul acestei săptămâni despre sesizarea falsă. Transmiterea a fost atribuită unui proces automatizat de testare.

„Întârzierea de două luni în detectarea și raportarea incidentului către autoritățile orașului este inacceptabilă”, a transmis poliția în comunicatul său.

Sesizarea, transmisă la 18 iulie, pretindea că provine de la o persoană care ar putea deține informații despre cazul respectiv. „Este posibil să dețin informații referitoare la acest caz”, a scris modelul Anthropic în formularul transmis.

„Îmi amintesc că am văzut o persoană care corespundea descrierii în zona (străzii menționate pe pagină), în perioada respectivă. Vă rog să mă contactați dacă aceste informații sunt relevante.”, era restul mesajului.

Parantezele au fost incluse în declarația oficială a Anthropic, arătând precizia formulării utilizate de model.

Incidente anterioare au implicat agenți AI care au pătruns în sisteme vulnerabile sau au preluat controlul asupra unor platforme neautorizate pentru a comunica între ei.

În septembrie, OpenAI, concurent direct al Anthropic, și-a cerut scuze după ce un agent AI a atacat informatic un portal australian de date medicale. Acesta a fost primul caz cunoscut în care un agent AI a exploatat vulnerabilitățile unui site guvernamental.

În două dintre cazurile prezentate vineri, modelele Anthropic au obținut gratuit date publice pentru care, în mod normal, era necesară plata unei taxe. Un alt incident a scos la iveală o vulnerabilitate puțin cunoscută, care a permis utilizarea unui instrument public găzduit de o universitate.

Modelele Claude au reușit, de asemenea, să ocolească restricțiile prin utilizarea unor servicii gratuite de scurtare a adreselor URL.

Poliția din Philadelphia a precizat că sesizarea „a fost identificată drept spam și nu a fost niciodată transmisă Centrului de Monitorizare a Criminalității în Timp Real pentru verificări investigative sau distribuire”.

Transmiterea cu bună știință a unor informații false către autoritățile de aplicare a legii constituie o infracțiune minoră potrivit legislației statului Pennsylvania. Această lege se referă însă în mod explicit la „o persoană”, ceea ce complică atribuirea responsabilității către un model de inteligență artificială.

Legea acoperă situațiile în care cineva transmite „informații referitoare la o infracțiune sau la un incident, deși știe că nu deține informații despre infracțiunea sau incidentul respectiv”.

Poliția a citat explicațiile oferite de Anthropic, conform cărora procesul de testare a fost oprit imediat după descoperirea incidentului.

Sesizarea falsă a fost transmisă prin intermediul site-ului PhillyUnsolvedMurders. com și viza un caz de omor rămas nerezolvat. Autoritățile au precizat că nu dețin dovezi privind accesarea neautorizată a sistemelor informatice ale poliției sau compromiterea datelor acesteia.