Groq și noua generație de cipuri: DRAM stivuit pentru modelele uriașe

De ce e memorie stivuită cheia?

Groq, un producător de cipuri susținut de Nvidia, pregătește integrarea memoriei DRAM stivuite 3D în cipul său de inferență de generație următoare. Mersul vizează rezolvarea unui gât de sticlă critic în memorie.

Tehnologia oferă spațiul necesar pentru modele cu miliarde de parametri. Vestea a ieșit la lumina zilei pe 20 octombrie, conform surselor din industrie.

Groq și-a construit reputația pe viteză brută.

Unitățile sale de procesare logică (LPU) erau concepute pentru generare rapidă a tokenilor. Dar viteză singură nu e suficientă pentru cele mai mari modele. Compania are nevoie de mai multă capacitate de memorie pentru a gestiona seturi de date masive.

DRAM-ul stivuit oferă atât capacitate mare, cât și bandă largă ridicată. Această dublă beneficiu abordează limita centrală a designurilor actuale.

Cum schimbă poziția competitivă!

Trecerea la DRAM 3D stivuit subliniază o tendință din industrie. Modelele de AI devin tot mai mari. Arhitecturile cu miliarde de parametri cer spațiu semnificativ de memorie. DRAM-ul plat tradițional nu poate ține pasul cu această cerere. Stivuirea straturilor de memorie vertical rezolvă constrângerea de spațiu fizic. Crește și rata de transfer de date.

Asta permite Groq să își păstreze avantajul de viteză, extinzând suportul pentru modele mai mari.

Cipul următor al Groq ar putea redefiniți eficiența inferenței. Prin combinarea vitezei cu memoria extinsă, compania vizează cele mai complexe sarcini AI.

Aceasta poziționează Groq împotriva concurenților mai mari. Tehnologia reduce nevoia de mai multe cipuri pentru un singur model. Simplifică designul sistemului.

Pentru companii, înseamnă implementare mai rapidă a modelelor mari de limbaj. Schimbarea reduce și consumul de energie pe token.

Ce este DRAM-ul stivuit 3D?

Întrebări frecvente?

DRAM-ul stivuit 3D stratifică cipurile de memorie vertical. Aceasta crește capacitatea fără a măria suprafața. Îmbunătățește și banda largă.

De ce e memoria o problemă pentru Groq? LPU-urile Groq sunt rapide, dar au memorie pe cip limitată.

Modelele mari au nevoie de mai mult spațiu pentru a stoca greutățile și activările. DRAM-ul stivuit oferă acest spațiu suplimentar.

Când va fi lansat noul cip?

Sursele din industrie au dezvăluit planul pe 20 octombrie. O dată specifică de lansare nu a fost confirmată. Cipul este așteptat să vizeze modele cu miliarde de parametri.