De ce Jalapeño bate acceleratorii obișnuiți la eficiență energetică?
OpenAI a anunțat lansarea primului ei cip AI personalizat, numit Jalapeño, în iunie, după un sprint de dezvoltare de nouă luni realizat împreună cu Broadcom.
Culture picks
Medii de testare AI cu acces la internet sub lupă după incidentele de securitate
Banul fabricii de cod digital rusesc
OpenAI lansează propriul cip Jalapeño: eficiență superioară față de Nvidia
Firefox 157 va activa JPEG XL implicit pe toate platformeleCipul a fost proiectat special pentru a rula modelele mari de limbaj, cu scopul de a oferi o eficiență energetică mai bună decât soluțiile hardware existente.
Testele inițiale au arătat câștiguri semnificative în performanță pe watt, spune OpenAI.
Colaborarea cu Broadcom a permis OpenAI să adapteze arhitectura cipului nevoilor specifice ale modelelor sale de AI, concentrându-se pe sarcini de inferență, nu pe calcul general. Prin proiectarea de la zero a unui cip propriu, compania a încercat să depășească limitele acceleratorelor standard, mai ales în ceea ce privește consumul de energie și treptarea la scară mare în implementarea modelelor.
Această mișcare reflectă o tendință la nivel de industrie, unde firmele de AI integrează vertical hardware-ul pentru a obține un avantaj competitiv.
În contraste cu GPU-urile sau TPU-urile, proiectate pentru sarcinile diverse de AI, Jalapeño este optimizat exclusiv pentru operațiile de matrice și modelele de memorie caracteristice modelelor transformer. Inginerii OpenAI au spus că cipul reduce blocajele de mișcare a datelor prin integrarea de ierarhii de memorie specializate și interconectiuni personalizate.
Poate cipul Jalapeño rezolva provocarea energetică a AI-ului?
Aceste alegeri arhitecturale permit generarea mai rapidă a jetonilor cu un consum de energie mai mic — ceva esențial pentru scalarea serviciilor precum ChatGPT în condiții reale.
Pe măsură ce modelele de AI devin mai mari, impactul lor ambiental a atras atenția reglementatorilor și investitorilor. Jalapeño este încercarea OpenAI de a aborda această problemă prin creșterea eficienței la nivel de hardware. Deși companija nu a publicat specificațiile complete sau comparațiile de benchmark, afirmă că rezultatele inițiale indică progres semnificativ spre o infrastructură de AI mai durabilă. Verificarea independentă a acestor afirmații încă așteaptă.
Ce este proiectat Jalapeño să facă?
Jalapeño este un accelerator de inferență creat special pentru a rula modelele mari de limbaj ale OpenAI mai eficient, cu accent pe reducerea consumului de energie în timpul generării de Cum a fost dezvoltat Jalapeño?
OpenAI a colaborat cu Broadcom pentru a proiecta cipul în nouă luni, creând o soluție de silicon de la zero, nu modificând arhitecturi existente.
Jalapeño înlocuiește GPU-urile în centrele de date ale OpenAI? Încă nu; Jalapeño este în fază incipientă de testare și nu a fost încă implementat la scară pentru înlocuirea sistemelor bazate pe GPU.
