Nvidia lansează Nemotron 3.5 Transcribe: transcriere vocală în 40 de limbi

Cum se compară cu alte modele vocale?

greutățile deschise? Nvidia a scos Nemotron 3.5 Transcribe, un model de inteligență artificială cu greutăți deschise, specializat pe conversia vorbirii în text. Sistemul suportă transcrierea în 40 de limbi și traducerea în 31 dintre ele.

Poți procesa fișiere audio de până la o oră, iar modelul identifică și etichetează până la opt vorbitori distincți într-o singură înregistrare.

Lansarea include și Granary v2, un set de date disponibil gratuit, cu 463.062 ore de date vocale în 48 de limbi. Acesta este baza de antrenament pentru model.

Nvidia a poziționat lansarea ca o ofertă gratuită cu greutăți deschise, ceea ce înseamnă că dezvoltatorii pot descărca și modifica modelul fără taxe de licențiere.

Modelele cu greutăți deschise se diferențiază de API-urile închise într-un mod esențial. Dezvoltatorii pot inspecta, ajusta și implementa modelul pe propria infrastructură.

Asta reduce dependența de servicii terțe. Pentru organizațiile care procesează date audio sensibile, implementarea locală oferă mai multă control asupra confidențialității și securității.

Capacitatea de a eticheta mai mulți vorbitori este o avansare tehnică semnificativă. Transcrierea ședințelor și procesarea podcasturilor beneficiază ambele de diarizarea vorbitorilor. Modelul Nvidia face această sarcină nativ, eliminând necesitatea unor unelte separate de diarizare.

Suportul pentru 40 de limbi plasează Nemotron 3.5 Transcribe printre cele mai largi modele deschise din punct de vedere lingvistic. Multe modele deschise concurente suportă mai puține limbi sau necesită componente separate pentru identificarea vorbitorilor. Etichetarea integrată a vorbitorilor dă acestui model un avantaj pentru procesarea conversațiilor cu mai mulți participanți.

Nvidia a scos Nemotron 3.5 Transcribe: transcriere în 40 de limbi!

Setul de date Granary v2 este un activ important. Cu peste 463.000 ore de date vocale, oferă material de antrenament substanțial. Cercetătorii pot folosi acest set pentru a evalua sau ajusta modelele pentru perechi de limbi specifice sau scenarii de vorbitori.

Lansarea Nvidia scade bariera pentru construirea aplicațiilor vocale multilingve. Echipele pot acum construi pipeline-uri de transcriere și traducere fără să plătească taxe pe apel API. Combinația suportului larg de limbi, etichetării vorbitorilor și unui set de date mare și deschis poziționează acest model ca un candidat puternic pentru sisteme vocale de producție.

Dezvoltatorii ar trebui să evalueze modelul față de cerințele lor specifice de limbi. Natura cu greutăți deschise înseamnă că pot adapta-l pentru vocabulariu de domeniu sau variații de accent. Pe măsură ce modelele vocale deschise continuă să se maturizeze, așteaptă oferte mai competitive cu capacități similare.

Poate fi implementat Nemotron 3.5 Transcribe pe-premise? Da.

Ca model cu greutăți deschise, poate rula pe hardware local. Acesta se potrivește pentru organizațiile care au nevoie de confidențialitate a datelor sau funcționare offline.

Câți vorbitori poate eticheta modelul într-o singură înregistrare?

Modelul suportă etichetarea până la opt vorbitori distincți. Acoperă majoritatea scenariilor de ședințe de grup și podcasturi.

Este setul de date Granary v2 gratuit pentru utilizare?

Da. Granary v2 este lansat ca set de date gratuit. Conține 463.062 ore de vorbire în 48 de limbi pentru antrenament și evaluare.