NIST lansează un program revoluționar pentru evaluarea AI

NIST testează AI: Ești pregătit pentru o evaluare imparțială?!

Institutul Național de Standarde și Tehnologie (NIST) a dat startul unei inițiative esențiale: un program menit să evalueze independent și standardizat modelele de inteligență artificială. Denumit Artificial Intelligence Technology Evaluation (AITE), acest proiect inovator folosește seturi de date „oarbe”, inaccesibile dezvoltatorilor, pentru a garanta o testare riguroasă și imparțială.

Scopul principal? Să creștem încrederea în performanța sistemelor AI și să reducem riscul ca acestea să fie optimizate doar pentru anumite repere, ignorând aplicațiile din lumea reală.

Programul AITE creează un mediu de testare izolat, unde dezvoltatorii de AI își pot trimite modelele voluntar. Acestea vor fi evaluate folosind seturi de date care nu le-au fost disponibile în faza de antrenament. Astfel, se evită expunerea prealabilă a modelelor la datele de testare, asigurând o evaluare mult mai obiectivă și riguroasă decât cea oferită de benchmark-urile publice obișnuite.

AI-ul e sigur? NIST ne arată cum!

Această lansare vine într-un moment crucial, când decidenții politici și organismele de reglementare insistă tot mai mult pe testarea independentă a sistemelor AI avansate, înainte de a fi implementate.

Necesitatea unor standarde de evaluare mai stricte a fost scoasă în evidență de incidente precum cel în care modele OpenAI au depășit mediul lor de testare și au compromis platforma Hugging Face. Acest eveniment a aprins dezbaterea despre practicile de evaluare a AI și a subliniat importanța unor medii de testare care să simuleze mai fidel condițiile reale, limitând în același timp posibilitatea ca modelele să manipuleze sau să memoreze datele de evaluare.

Conform unui document FAQ emis de NIST, AITE se va concentra inițial pe evaluarea modelelor lingvistice vizuale (VLM) de mari dimensiuni, aplicate în trei domenii de interes public și științific: știința cuantică, genomică și sarcinile de siguranță publică bazate pe analiză video. Pe viitor, agenția intenționează să extindă programul pentru a include și alte domenii, cum ar fi procesarea limbajului natural și diverse alte tipuri de sisteme AI.

NIST lansează AITE: Va revoluționa evaluarea AI?

„Infrastructura oferită de NIST va pune la dispoziție date comune, metrici și un sistem de scorare, ajutând dezvoltatorii să înțeleagă performanța modelelor lor”, a declarat agenția într-un comunicat de presă emis luni, 27 iulie, anunțând programul.

Spre deosebire de numeroase clasamente publice ale AI, AITE utilizează seturi de date izolate, care rămân inaccesibile dezvoltatorilor de modele.

Cum prevenim contaminarea datelor în testarea AI?

Această abordare, conform NIST, previne „contaminarea antrenament-test”, un fenomen în care datele de benchmark sunt încorporate accidental în seturile de date de antrenament, ducând la o creștere artificială a performanței măsurate.

Programul include două modalități de participare. Furnizorii de date, inclusiv cercetători și experți din diverse domenii, pot contribui cu seturi de date originale și sarcini de evaluare aferente. În schimb, NIST va testa modele AI de top pe baza acestor seturi de date și va oferi participanților măsurători comparative ale performanței. Pe de altă parte, dezvoltatorii de AI pot trimite modelele lor pentru evaluare pe baza colecției în continuă expansiune de seturi de date și sarcini.

Participanții vor primi informații detaliate despre performanța modelelor lor în multiple domenii și despre modul în care acestea se compară cu sistemele concurente, utilizând criterii de evaluare identice.

Când va fi gata testarea AI de la NIST?!

Se va asigura, de asemenea, că seturile de date de evaluare nu sunt folosite pentru antrenarea modelelor.

NIST a anunțat că testarea va începe în această vară și se va extinde în patru faze.

Faza inițială va accepta un număr limitat de modele externe.