OpenAI lansează propriul cip Jalapeño: eficiență superioară față de Nvidia

Cum a reușit Jalapeño să depășească GPU-ul Nvidia cu jumătate din energie?

OpenAI a prezentat la conferința Hot Chips primul său accelerator de AI dezvoltat în casă: cipul Jalapeño ASIC. Compania afirmă că acest cip depășește performanța GPU-ului de top al Nvidia, deși consumă doar jumătate din energia acestuia.

Dezvoltat în parteneriat cu Broadcom, Jalapeño este proiectat pentru sarcini de inferență, cu promisiuni de throughput mai mare și latență mai mică.

Cipul funcționează la 700 de watts, iar OpenAI spune că egală sau depășește performanța GPU-ului flagship de 1.400 watts al Nvidia.

Conform benchmark-urilor interne, Jalapeño oferă până la 1,9 ori mai mult throughput pe kilowatt și are o latență de 3,6 ori mai mică în anumite sarcini de inferență AI.

Aceste rezultate îl pun în poziție de alternativă viabilă pentru centrele de date care văzută să reducă costurile de energie fără a sacrifica viteza.

Cipul Jalapeño bate GPU-ul Nvidia cu jumătate din energie!

OpenAI nu a creat Jalapeño singur.

Cipul este rezultatul unei colaborări cu Broadcom, care a adus expertiza în proiectare și fabricare de ASIC-uri. Această parteneriat a permis OpenAI să se concentreze pe optimizarea arhitecturii pentru sarcini specifice ale modelelor sale, mai ales cele cu modele lingvistice mari. Broadcom a gestionat implementarea fizică și tape-out-ul, iar OpenAI a furnizat specificațiile arhitecturale și obiectivele de performanță.

Rezultatul este un cip adaptat stivei de software OpenAI, ceea ce poate limita utilizarea sa largă, dar crește eficiența pentru aplicațiile țintă.

Lansarea Jalapeño pune pe masă întrebări despre viitorul hardware-ului pentru AI.

Deși GPU-urile Nvidia rămân dominante datorită versatilității și ecosistemului matur, cipurile ASIC personalizate precum Jalapeño oferă avantaje în eficiență energetică și latență pentru sarcini bine definite.

Dacă afirmațiile OpenAI se vor confirma prin evaluări independente, alte companii de AI ar putea urma aceeași drum pentru a reduce dependența de GPU-uri de uz general.

Jalapeño bate GPU-ul Nvidia cu jumătate din energie!

Totuși, costurile ridicate ale dezvoltării unui cip și lipsa unui suport software larg rămân bariere la adopție largă. OpenAI nu a clarificat dacă Jalapeño va fi disponibil extern sau va fi utilizat exclusiv pentru operațiile interne.

Care este avantajul principal al cipului Jalapeño față de GPU-ul Nvidia?

OpenAI afirmă că cipul oferă până la 1,9 ori mai mult throughput pe kilowatt și o latență de 3,6 ori mai mică decât GPU-ul de 1.400 watts al Nvidia, la un consum de doar 700 watts.

Cine a colaborat cu OpenAI la dezvoltarea cipului Jalapeño ASIC? OpenAI a dezvoltat cipul împreună cu Broadcom, care a contribuit cu expertiza în proiectare ASIC, implementare fizică și fabricare.

Cipul Jalapeño va fi vândut altor companii sau va fi folosit doar intern? OpenAI nu a anunțat dacă cipul va fi oferit comercial; indiciile actuale sugerează că ar putea fi destinat utilizării interne pentru optimizarea infrastructurii sale de AI.