Diferența de cost de 99x în modelele AI științifice!

Cine domină și cât costă?

VIALS-AA, care se bazează pe cadrul Handshake AI VIALS, testează modelele vizual-lingvistice în domenii științifice și biotehnologice. Materialele analizate includ gel blots și lamine de microscopie, iar evaluarea se bazează pe 161 sarcini de răspuns la întrebări vizuale.

Performanța este măsurată prin metrica `pass^3`, care necesită răspuns corect în trei încercări pentru credit complet.

Precizie versus cheltuieli?

Gemini 4 Carbon (configurare înaltă) conduce cu 64% de scor, urmat de GPT-6 Astra (setare maximă) cu 63%.

Claude Opus 5.5 (setare maximă cu fallback) a obținut 61%. Interesant este că GPT-6 Luna (setare maximă) costă doar 0,02 USD pentru întregul set, în timp ce Grok 4.7 (setare foarte înaltă) necesită 1,77 USD. Această diferență de preț se apropie de 99 de ori pentru o performanță generală similară.

Comparând GPT-6.1 Sol (setare maximă) cu Claude Opus 5.5, se observă un compromis clar. Sol atinge 59% la aproximativ 0,06 USD pe sarcină, în timp ce Opus 5.5 ajunge la 61% pentru circa 1,64 USD.

Cine domină modelele open-weight în știință!

Aceasta înseamnă o creștere de cost de 29 de ori pentru o creștere de doar două puncte procentuale de precizie.

Kimi K3.1 Pro conduce printre modelele open-weight cu 45% de scor, în urmă cu aproximativ 19 puncte procentuale față de sistemele proprietare.

De asemenea, unele sarcini au declanșat respingeri de siguranță la toate modelele, dar nu din cauza pericolului inerente; modelele au clasificat greșit imagini științifice ca conținut sensibil.

Cum funcționează evaluarea?

Evaluarea utilizează mecanismul Stirrup, care permite modelelor să execute cod și să inspecteze imagini programmatic, depășind simpla recepție de date statice. Setul inițial VIALS a fost publicat de Handshake AI în august 2026, iar Artificial Analysis a construit VIALS-AA pentru monitorizare continuă.

Respingerea de siguranță provine din interpretarea greșită a modelelor, nu din riscul datelor. Deși `pass^3` măsoară performanța tehnică, etica AI rămâne un subiect de dezbatere. Analiza a fost revizuită de Diego Almada Lopez.