Nvidia accelerează integrarea tehnologiei Groq în centrele sale!
Nvidia a confirmat lansarea în producție a sistemelor Groq 3 LPX, un pas semnificativ în strategia companiei de a integra tehnologia dobândită prin cea mai mare achiziție din istoria ei. Conform informațiilor publicate de News. ro pe baza unui raport al CNBC, aceste unități vor deveni funcționale până la finalul anului curent, constituind prima implementare comercială de mare scară a arhitecturii preluate de la startup-ul Groq, achiziționat în decembrie pentru suma impresionantă de 20 de miliarde dolari.
Culture picks
De ce telefoanele devin tot mai scumpe: BOM, profit și criza memoriilor
Starcloud atrage 250 de milioane de dolari pentru centrele de date de pe orbită
Primul webacam din lume a fost oprit
Serviciul criminal Kriminal exploatează Grok și Claude pentru acces nefiltratScopul acestui pas este accelerarea adopției soluțiilor cu latență ultrajă în centrele de date, în contextul creșterii constante a cererii pentru Primele instalări vor avea loc în această an la Nebius, furnizorul de infrastructură cloud, unde rack-urile Groq 3 LPX vor funcționa alături de procesoarele Vera și unitățile grafice Rubin, dezvoltate de Nvidia. Detalii au fost oferite de Dion Harris, director senior la companie, care a subliniat rolul specializat al ciprelor Groq în faza de „inference” – momentul în care un model AI antrenat generează Harris a explicat că, pe măsură ce agenții AI și mediile de programare devin mai sofisticați, utilizatorii așteaptă reacții quase instantane din sisteme.
Această solicitare crește presiunea pe furnizorii de servicii cloud să ofere opțiuni premium, tarifate mai ridicat, destinate clienților cu necesități extremo de scăzută latență.
Conform declarațiilor sale, acest model de serviciu diferțiat ar putea deveni o sursă semnificativă de venit pentru operatorii cloud.
Groq 3 LPX intră în producție: Nvidia accelerează integrarea achiziției de 20
Tehnic, fiecare rack Groq 3 LPX conține 256 de cipuri Groq 3, capabile să procure circa 3.400 de tokeni pe secundă, conform unui benchmark realizat de Artificial Analysis. Un aspect esențial al arhitecturii este prezentarea a 500 MB de memorie SRAM integrată direct pe cip – o caracteristică concepută expres pentru a elimina gârlele legate de accesul la memorie, o problemă frecventă în arhitecturile tradiționale.
Deși cipurile sunt fabricate de Samsung, în contraste cu GPU-urile Nvidia produse de TSMC, compania a clarificat că aceste procesoare nu au scopul de a înlocui unitățile grafice. Pe contra, GPU-urile rămâne esențiale atât pentru antrenarea modelelor AI, cât și pentru anumite sarcini de inference, în timp ce cipurile cu latență redusă, precum cele Groq, sunt optimizate exclusiv pentru fază de „decode” – momentul în care modelul produce efectiv „Nu discutăm despre înlocuirea GPU-urilor”, a declarat Harris.
„Obiectivul este utilizarea procesorului potrivit pentru fiecare segment al sarcinii de calcul.”
Această abordare reflectă o tendință mai largă în industria: specializarea hardware-ului în funcție de sarcina specifică. În același timp, Nvidia se confruntă cu o concurență în creștere în domeniul inferenței cu latență joasă. AMD a anunțat planuri pentru integrarea la nivel de rack a sistemelor sale cu cipuri furnizate de Cerebras. În paralel, Nvidia acelerează distribuția sistemelor Vera Rubin, introduse în producție la începutul anului.
CEO-ul Jensen Huang a estimat în martie că combinația dintre arhitectura Blackwell și noile platforme Vera Rubin ar putea genera vânzări cumulate de 1.000 de miliarde dolari până în 2027, adăugând că aproximativ 25 procent din spațiul disponibil în centrele de date ar putea fi dedicat acestor tehnologii de viitor.