Deepgram sumažino paketinės transkripcijos kaštus perkėlęs Nova-3 į AWS Trainium2
Trumpai: AWS ir Deepgram kartu perrašė Nova-3 kalbos atpažinimo modelį, kad jis veiktų tiesiogiai ant Trainium2 lustų vietoj įprastos GPU pagrįstos PyTorch infrastruktūros, orientuojantis į didelio masto nesinchroninius transkripcijos darbus. Darbo metu buvo perrašyti lėčiausi sluoksniai į individualius branduolius (kernels), o Python paslaugų sluoksnis pakeistas Rust laikomąja sistema, tiesiogiai kreipiantis į Trainium. Rezultatas: viena trn2.3xlarge instancija, vykdanti aštuonias lygiagrečias modelio kopijas, apdoroja 11-70% daugiau garso vienam doleriui nei ankstesnė Deepgram infrastruktūra, o panašus sutaupymas potencialiai pasiekiamas klientams, savarankiškai diegiantiems sprendimą per SageMaker.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „AWS Machine Learning“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Nova-3 pilnai perkompiliuotas Trainium2 su TorchNeuron, nė viena operacija nepersikelia į CPU
- 2Rankomis parašyti NKI branduoliai FFN, depthwise conv1d ir conv2d sluoksniams davė iki 50x pagreitį konvoliucijos žingsniuose su mažesniais batch dydžiais
- 3Python pagrįstas aptarnavimas pakeistas lengvu Rust laikomosios sistemos sprendimu, tiesiogiai kreipiančiu į Neuron Runtime API ir sumažinančiu interpretatoriaus bei užraktų (GIL) papildomas išlaidas
- 4Viena trn2.3xlarge instancija dabar talpina aštuonias lygiagrečias modelio kopijas, suteikiančia 7,5% didesnį pralaidumą nei ankstesnė Python multiprocessing sąranka
- 5Bendras rezultatas: 11-70% daugiau garso transkribuojama vienam doleriui nesinchroniniuose paketinio apdorojimo darbuose, lyginant su ankstesne Deepgram infrastruktūra
| Parametras | Buvo | Dabar |
|---|---|---|
| Aparatinės įrangos taikinys | Standartinis PyTorch su ankstesniais skaičiavimo variantais | AWS Trainium2 (trn2.3xlarge) per Neuron/TorchNeuron |
| Pralaidumas vienam doleriui | Bazinis skaičiavimo variantas, kurį anksčiau naudojo Deepgram | 11-70% daugiau garso apdorojama vienam doleriui |
| Aptarnavimo laikomoji sistema | Python multiprocessing/multithreaded lygiagretaus duomenų apdorojimo sistema | Individuali Rust sistema, 7,5% greitesnė nei Python MP bazinė sąranka esant maksimaliam batch dydžiui |
| Kopijos viename įrenginyje | Nenurodyta | 8 modelio kopijos (DP8) vienoje trn2.3xlarge instancijoje |
Kodėl tai svarbu?
Bet kuriai komandai, vykdančiai didelio masto nesinchroninę transkripciją - QA peržiūrą, atitikties archyvavimą, medicininę ar skambučių centro dokumentaciją - tai parodo kelią reikšmingai sumažinti transkripcijos kaštus už minutę, perkeliant darbus į specializuotus AI lustus vietoj bendros paskirties GPU, nepaveikiant modelio tikslumo.
Ką tai reiškia AI agentams ir kontaktų centrams?
Jei paketinės transkripcijos kiekiai skambučių analitikai ar QA yra dideli, verta stebėti, ar Deepgram perkels šį kaštų sumažinimą į API kainas, arba įvertinti savarankišką Nova-3-ant-Trainium2 diegimą per SageMaker - tai galėtų sumažinti STT kaštus už minutę; verta palyginti su dabartiniais tiekėjais pagal kainą už valandą ir žodžių klaidų lygį.
🧪 Verta testuoti
Dokumentuotas 11-70% kaštų už garso valandą pagerinimas realiuose paketinės transkripcijos darbuose yra konkretus, išmatuojamas efektyvumo padidėjimas, vertas patikrinti pagal jūsų skambučių apimtis ir tikslumo reikalavimus.
Šaltiniai
- AWS Machine LearningOficialusPirminis šaltinisOriginalus straipsnis →„How Deepgram optimized voice AI at scale with AWS Trainium“2026-10-19 19:23
- Šaltinio publikavimo data
- 2026-10-19 19:23
- Mūsų sistema rado
- 2026-10-19 19:43
- Santrauka sugeneruota
- 2026-10-19 19:46
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas