Speech-to-Text, Text-to-Speech, realaus laiko modeliai ir Voice AI agentai.
“Speech-to-Text” — 12 straipsnių ✕
„Audible“ sukūrė valdomą teksto į kalbą (TTS) sistemą, kuri naudoja didelius kalbos modelius (LLM) veikėjų profiliavimui ir dialogų priskyrimui su iki 97% tikslumu. Naudojant natūralios kalbos aprašymus kaip „scenos nurodymus“, sistema užtikrina išskirtinius ir nuoseklius veikėjų balsus viso ilgo formato turinio metu.
IBM pristatė tris „Granite Speech“ šeimos atnaujinimus: visiškai naują 2B kalbos-kalbos modelį (granite-speech-5.0-2b), patobulintą 470M „Turbo CTC“ modelį, skirtą greičiui, ir patobulintą 4.1-2B-Plus modelį, pritaikytą pokalbiams su keliais kalbėtojais. Kartu jie skirti tikslesnei transkripcijai/vertimui, greitam atpažinimui įrenginyje ir tiksliam kalbėtojų bei laiko žymių nurodymui. Visi trys lieka pagal Apache 2.0 licenciją.
Mistral AI išleido Voxtral 3 – kalbos atpažinimo ir kalbos sintezės modelių šeimą kartu su SDK, leidžiančiu vienoje realaus laiko grandinėje klausyti, mąstyti, iškviesti įrankius ir kalbėti. Atpažinimo modeliai (Small, Mini ir Realtime Transcribe 3) palaiko 50+ kalbų su kalbėtojų atskyrimu (diarizacija), raktažodžių paryškinimu techniniam žodynui ir mažesne nei 500ms delsa, kuri, anot Mistral, lenkia Whisper, Scribe v2 ir Gemini 3.5 Transcribe jų atliktuose testuose. Kalbos sintezės modelis Mini TTS 3 palaiko 35+ kalbas ir 50+ dialektų su emocijomis, tempu ir akcentavimu, prisitaikančiais prie konteksto, kainuojantis 13 USD už milijoną simbolių, o atskira funkcija Pro Voice gali atkurti žmogaus balsą ir emocinį diapazoną vos iš 30 minučių įrašo. Visi komponentai veikia per Mistral ES talpinamą API arba gali būti diegiami kliento serveriuose.
AWS ir Deepgram kartu perrašė Nova-3 kalbos atpažinimo modelį, kad jis veiktų tiesiogiai ant Trainium2 lustų vietoj įprastos GPU pagrįstos PyTorch infrastruktūros, orientuojantis į didelio masto nesinchroninius transkripcijos darbus. Darbo metu buvo perrašyti lėčiausi sluoksniai į individualius branduolius (kernels), o Python paslaugų sluoksnis pakeistas Rust laikomąja sistema, tiesiogiai kreipiantis į Trainium. Rezultatas: viena trn2.3xlarge instancija, vykdanti aštuonias lygiagrečias modelio kopijas, apdoroja 11-70% daugiau garso vienam doleriui nei ankstesnė Deepgram infrastruktūra, o panašus sutaupymas potencialiai pasiekiamas klientams, savarankiškai diegiantiems sprendimą per SageMaker.
„Anam“, kurianti fotorealistinius interaktyvius avatarus, perėjo prie „Deepgram“ Flux kalbos atpažinimo (STT) modelio, siekdama išspręsti pokalbio eilės (turn-taking) problemas neparuoštuose, realaus laiko pokalbiuose. A/B testavime, lyginant su savarankiškai talpinamu atviro kodo STT variantu, Flux sumažino nepageidaujamus avataro pertraukimus apie 50%, delsa nepadidėjo, o skundai dėl pokalbio eigos angliškose sesijose sumažėjo beveik iki nulio. „Anam“ įdiegė Flux savo „Kubernetes“/H100 infrastruktūroje ir pritaikė ją visiems „turnkey“ vartotojams po dviejų savaičių savarankiško diegimo (palyginti su keliomis dienomis naudojant „Deepgram“ talpinamą versiją).
Mistral AI pristatė Voxtral Mini 4B Realtime Arabic — srautinio kalbos atpažinimo (STT) modelį, pritaikytą arabų kalbos tarmėms, literatūrinei arabų kalbai ir kalbų kaitaliojimui pokalbio metu. 4,4 milijardo parametrų modelis apdoroja 16 kHz garsą realiu laiku su konfigūruojamu transkripcijos vėlavimu ir, esant 480 ms delsai, pasiekia vidutinį 8,82% simbolių klaidų rodiklį (CER) septyniuose arabų kalbos testuose — tai artima neprisijungus veikiančio Voxtral Transcribe Arabic modelio 7,91% rodikliui. Modelis sukurtas kartu su Maroko skaitmeninės transformacijos ministerija kaip suvereni AI priemonė ir išleistas pagal Apache 2.0 licenciją.
Technology Innovation Institute (TII) pristatė Falcon-ASR – 1,6 mlrd. parametrų automatinio kalbos atpažinimo (ASR) modelį, pirmiausia skirtą arabų kalbai, ypač Emiratų dialektui. Tais pačiais modelio svoriais jis taip pat transkribuoja anglų, prancūzų, ispanų ir portugalų kalbas. TII teigia, kad modelis aplenkia geriausią viešai skelbtą rezultatą standartiniame arabų kalbos teste ir pirmauja vidiniame Emiratų dialekto vertinime, taip pat palaiko žodžių lygio laiko žymas.
Deepgram išplėtė savo specializuotą medicinos kalbos modelį Nova-3 Medical nuo vien anglų kalbos iki 10 kalbų, įskaitant ispanų, vokiečių, hindi, japonų ir rusų, su automatišku kalbų perjungimu tiek paketiniame, tiek srautiniame režime. 115 valandų kruopščiai atrinkto medicininio garso testavimo rinkinyje daugiakalbis medicininis modelis sumažino žodžių klaidų normą 25-30 %, o esybių (vaistų, dozių, diagnozių) klaidų normą – 37-40 %, lyginant su Deepgram bendru daugiakalbiu modeliu. Jis taip pat aplenkė konkuruojančius ElevenLabs ir Microsoft modelius vidutine žodžių klaidų norma visose 10 kalbų.
AssemblyAI pristatė Sync API — naują transporto būdą trumpų garso įrašų transkripcijai: vienas HTTP POST užklausimas grąžina baigtą Universal-3.5 Pro transkripciją toje pačioje atsakyme, vidutiniškai per ~134ms. Tai užpildo tarpą tarp Async API (pateikti ir laukti, pridedant 5-6 sekundes uždelsimo) ir Realtime API (WebSocket, skirtas tęstinėms sesijoms), taikant dėmesį tokioms užduotims kaip diktavimas, pokalbių agento ėjimų transkripcija, IVR ir push-to-talk. Palaikomi 80ms–2min ilgio įrašai iki 40MB, su 1,59% klaidų lygiu trumpam garsui. Kaina — 0,45 USD/val., tiek pat, kiek Universal-3.5 Pro Realtime.
AssemblyAI paleido atviro kodo Qwen3.5 4B modelio diegimą savo LLM Gateway platformoje, specialiai optimizuotą perrašyti neapdorotą kalbos-teksto išvestį į švarų, suformatuotą tekstą. Balso perrašymo užduotyse, tokiose kaip diktavimo valymas ir transkripcijos formatavimas, modelis vidutiniškai atsakė per 612ms — 1,9 karto greičiau nei GPT-4.1 — ir kainavo 94% mažiau per valandą apdoroto garso. Modelio kaina — $0.10/$0.50 už milijoną tokenų (užklausa/atsakymas), palaikomi tik max_tokens, temperature ir stream parametrai, be įrankių kvietimo (tool calling).
AssemblyAI išleido Universal-3.5 Pro — naują pagrindinį asinchroninį kalbos atpažinimo (STT) modelį, kainuojantį 0,21 USD/val. Modelis natūraliai transkribuoja kalbų perjungimo (code-switching) pokalbius 18 kalbų be papildomos konfigūracijos, pristato bendrai modeliuojamą kalbėtojų atskyrimą, integruotą tiesiai į transkriptą (o ne sujungtą iš atskiros sistemos), bei palaiko kontekstinį paraginimą, leidžiantį pateikti modeliui srities žinias. Testai rodo mažesnį žodžių klaidų lygį kalbų perjungimo garso įrašuose ir didesnį cpWER tikslumą kalbėtojų atskyrime, lyginant su kelais konkurentų modeliais ir ankstesniu AssemblyAI Universal-3 Pro.
NVIDIA pristatė detalią darbo eigą, kaip pritaikyti daugiakalbį srautinį ASR modelį Nemotron 3.5 Saudo Arabijos dialektams (Najdi ir Hijazi). Naudojant minimalų duomenų kuravimą, „replay mixing“ su FLEURS duomenimis, trukme pagrįstą grupavimą ir dalinį enkoderio atšaldymą, žodžių klaidų dažnis (WER) tiksliniuose dialektuose sumažintas nuo 55,05% iki 29,96%, kartu šiek tiek pagerinant anglų ir kitų arabų dialektų atpažinimą. Straipsnyje taip pat aptariami dekodavimo pakeitimai ir kalbėtojų diarizacijos plėtiniai keliems kalbėtojams.