Cum asigura criptarea securitatea cache-ului?
Corbenic, o companie belgiană, a lansat versiunea beta a sistemului său Galahad, care stochează cache-ul cheie-valoare al modelelor de limbaj mari (LLM) pe unitățile NVMe locale. Soluția permite serverelor să evite re-citirea textului după ce memoria GPU este golită sau după un restart, spune fondatorul Sietse Schelpe. Beta-ul este compatibil cu cadrele populare precum vLLM, SGLang și Llama. cpp și nu necesită hardware special.
Culture picks
Start-up-uri românești și italiene selectate în acceleratorul Rubik Hub pentru inovații tehnologice
Lansarea NOD Cloud aduce soluții avansate pentru securitate și inteligență artificială
Cum ne fură telefoanele pauzele și momentele de liniște?
A apărut „Domnul Pensionescu”, asistentul AI care îți explică pensia privatăAbordarea lui Galahad criptează datele stocate, asigurând că informațiile rămân sigure chiar și când SSD-ul este accesat de alte procese.
Schelpe a subliniat că principalele câștiguri de performanță — până la o creștere de 14 ori — provin dintr-o componentă numită Blaise, care extrage eficient intrările relevante din cache.
Funcționează Galahad pe infrastructura existentă?
Încărcarea de pe SSD în sine contribuie doar modest la accelerare. Designul sistemului permite serverelor existente să adopte tehnologia fără coûtele de upgrade.
Beta-ul este construit pentru a rula pe hardware de server convențional. Corbenic afirmă că orice mașină cu un SSD NVMe și un GPU compatibil poate instala Galahad. Echipa l-a testat pe o varietate de configurări, de la GPU-uri de intrare la acceleratoare de top. Deoarece stratul software gestionează toate mișcările de date, utilizatorii nu trebuie să modifice bazele de cod existente sau să investească în noi matrice de stocare.
Această cale de adoptare cu barieră scăzută este un punct de vânzare cheie pentru întreprinderile care doresc să extindă memoria GPU fără cheltuieli suplimentare de capital.
Q: Necesită Galahad o marcă specifică de GPU? A: Nu. Funcționează cu orice GPU care susține interfețele de memorie necesare, pentru că sistemul gazdă are un SSD NVMe.
Cum protejează Galahad datele din cache-ul LLM?
Q: Câte spațiu de stocare este necesar pentru un cache tipic de LLM?
A: Spațiul necesar depinde de dimensiunea modelului și de configurarea batch-ului, dar majoritatea utilizatorilor consideră că câțiva tera octeți de NVMe sunt suficiente pentru sarcini practice.
Q: Galahad afectează acuratețea modelului? A: Nu. Sistemul reutilizează simplu perechile cheie-valoare anterior calculate; ieșirea modelului rămâne neschimbată.
