Pereiti prie turinio
2026 m. lapkričio 19 d., ketvirtadienis
Tenesys AI News
Prenumerata

Voice AI

Speech-to-Text, Text-to-Speech, realaus laiko modeliai ir Voice AI agentai.

“Agents” — 20 straipsnių ✕

Voice AI· Svarbu· 🧪 Verta testuoti

AssemblyAI pristatė specializuotą STT modelį balso agentams

AssemblyAI išleido AssemblyAI-STT-3.7-Realtime-Agent – kalbos atpažinimo modelį, optimizuotą specialiai balso agentų veiklai. Jis skirtas spręsti tokias problemas kaip foninis triukšmas pokalbio metu ir svarbių duomenų, pavyzdžiui, skaičių, tikslus fiksavimas sakinio pabaigoje.

AssemblyAI
Voice AI· Svarbu· 🧪 Verta testuoti

AssemblyAI pristato specializuotus STT ir TTS modelius balso agentams

AssemblyAI išleido STT-3.7 modelių šeimą, skirtą įrašytam garsui, pokalbiams realiuoju laiku ir balso agentams. Be to, bendrovė pristatė savo pirmąjį teksto į kalbą (TTS) variklį, optimizuotą greitai ir natūraliai sąveikai pokalbių metu.

AssemblyAI
Voice AI· Svarbu· 🧪 Verta testuoti

„Medical Mode“ atnaujinimas sumažina klaidų transkribuojant vaistų pavadinimus

„AssemblyAI“ pristatė savo „Medical Mode“ funkcijos atnaujinimą, skirtą pagerinti itin svarbių klinikinių terminų, tokių kaip vaistų pavadinimai ir diagnozės, transkripciją. Šis patobulinimas 30 % sumažina praleistų vaistų pavadinimų skaičių anglų kalba ir iki 62 % – ispanų kalba, išlaikant bendrą žodžių klaidų rodiklį.

AssemblyAI
Voice AI· Svarbu· 🧪 Verta testuoti

„Google“ pristatė neprisijungus veikiančius balso atpažinimo ir TTS API

„Google“ išplėtė „AI Edge Gallery“ funkcijas, pridėdama balso atpažinimo (ASR) ir sintezės (TTS) galimybes įrenginiuose. Programuotojai dabar gali integruoti šiuos greitus, neprisijungus veikiančius modelius per „Android“ „ML Kit“ arba „MediaPipe Tasks“, kurie palaiko daugiau nei 100 kalbų ir užtikrina didelį energijos efektyvumą.

Google Developers
Voice AI· Svarbu· 🧪 Verta testuoti

„Audible“ tobulina garsinių knygų sintezę naudodama valdomą TTS

„Audible“ sukūrė valdomą teksto į kalbą (TTS) sistemą, kuri naudoja didelius kalbos modelius (LLM) veikėjų profiliavimui ir dialogų priskyrimui su iki 97% tikslumu. Naudojant natūralios kalbos aprašymus kaip „scenos nurodymus“, sistema užtikrina išskirtinius ir nuoseklius veikėjų balsus viso ilgo formato turinio metu.

Amazon Science
Voice AI· Svarbu· 🧪 Verta testuoti

Amazon Polly generatyvinis TTS variklis sulaukė didelio tikslumo ir balsų atnaujinimo

AWS atnaujino „Amazon Polly“ generatyvinį variklį – kalba tapo natūralesnė, išraiškingesnė ir tikslesnė skaitant skaičius, adresus bei patvirtinimo kodus. Atnaujinime pridėta 14 naujų balsų 9 lokalėse, iš viso dabar yra 57 generatyviniai balsai 11 kalbų ir 25 lokalėse, įskaitant pirmą kartą visuotinai pasiekiamus hindi ir suomių kalbos balsus. Tai „drop-in“ atnaujinimas: balsų pavadinimai, API ir kainodara nesikeičia, todėl esamos programos veikia be pakeitimų.

AWS Machine Learning
Voice AI· Svarbu· 🧪 Verta testuoti

IBM atnaujino „Granite Speech“ liniją: naujas ASR modelis, greitesnė transkripcija ir tikslesnis kalbėtojų atskyrimas

IBM pristatė tris „Granite Speech“ šeimos atnaujinimus: visiškai naują 2B kalbos-kalbos modelį (granite-speech-5.0-2b), patobulintą 470M „Turbo CTC“ modelį, skirtą greičiui, ir patobulintą 4.1-2B-Plus modelį, pritaikytą pokalbiams su keliais kalbėtojais. Kartu jie skirti tikslesnei transkripcijai/vertimui, greitam atpažinimui įrenginyje ir tiksliam kalbėtojų bei laiko žymių nurodymui. Visi trys lieka pagal Apache 2.0 licenciją.

Hugging Face
Voice AI· Svarbu· 🧪 Verta testuoti

Mistral pristatė Voxtral 3: kalbos atpažinimo, sintezės modeliai ir realaus laiko agentų SDK

Mistral AI išleido Voxtral 3 – kalbos atpažinimo ir kalbos sintezės modelių šeimą kartu su SDK, leidžiančiu vienoje realaus laiko grandinėje klausyti, mąstyti, iškviesti įrankius ir kalbėti. Atpažinimo modeliai (Small, Mini ir Realtime Transcribe 3) palaiko 50+ kalbų su kalbėtojų atskyrimu (diarizacija), raktažodžių paryškinimu techniniam žodynui ir mažesne nei 500ms delsa, kuri, anot Mistral, lenkia Whisper, Scribe v2 ir Gemini 3.5 Transcribe jų atliktuose testuose. Kalbos sintezės modelis Mini TTS 3 palaiko 35+ kalbas ir 50+ dialektų su emocijomis, tempu ir akcentavimu, prisitaikančiais prie konteksto, kainuojantis 13 USD už milijoną simbolių, o atskira funkcija Pro Voice gali atkurti žmogaus balsą ir emocinį diapazoną vos iš 30 minučių įrašo. Visi komponentai veikia per Mistral ES talpinamą API arba gali būti diegiami kliento serveriuose.

Mistral AI
Voice AI· Svarbu· 🧪 Verta testuoti

OpenAI atveria pritaikytų balsų kūrimą visiems GPT-Live API naudotojams

OpenAI visiems GPT-Live API klientams atvėrė galimybę kurti pritaikytus balsus — balsą galima suprojektuoti tiesiog aprašius jį tekstu, per API arba balso Playground, o vėliau naudoti gyvose balso sesijose. Balso sukūrimas nieko nekainuoja, tačiau kalbos generavimas vis tiek apmokestinamas pagal įprastus GPT-Live sesijų tarifus. Kartu platformoje pridėti devyni nauji integruoti balsai vokiečių, prancūzų, hindi, japonų ir korėjiečių kalbomis.

OpenAI API Changelog
Voice AI· Svarbu· 🧪 Verta testuoti

„Deepgram“ Flux STT modelis sumažino nepageidaujamus pertraukimus „Anam“ avatarų pokalbiuose beveik perpus

„Anam“, kurianti fotorealistinius interaktyvius avatarus, perėjo prie „Deepgram“ Flux kalbos atpažinimo (STT) modelio, siekdama išspręsti pokalbio eilės (turn-taking) problemas neparuoštuose, realaus laiko pokalbiuose. A/B testavime, lyginant su savarankiškai talpinamu atviro kodo STT variantu, Flux sumažino nepageidaujamus avataro pertraukimus apie 50%, delsa nepadidėjo, o skundai dėl pokalbio eigos angliškose sesijose sumažėjo beveik iki nulio. „Anam“ įdiegė Flux savo „Kubernetes“/H100 infrastruktūroje ir pritaikė ją visiems „turnkey“ vartotojams po dviejų savaičių savarankiško diegimo (palyginti su keliomis dienomis naudojant „Deepgram“ talpinamą versiją).

Deepgram
Voice AI· 🧪 Verta testuoti

Nedidelis apmokytas modelis išmoksta vykdyti naujus reguliuojamus skambučių scenarijus be perkvalifikavimo

Tyrėjai pristato sistemą FlowSpec, kuri kreditoriaus teisinę skambučio procedūrą paverčia mašininiu formatu suprantamomis instrukcijomis, įrankių apribojimais, mokymo signalais ir testais balso agentui. 9 milijardų parametrų modelis buvo apmokytas naudojant skambučius, apimančius beveik 300 atsitiktinai sugeneruotų procedūrų, o vėliau išbandytas su keturiomis niekada nematytomis procedūromis, įskaitant visiškai atskirtą scenarijų šeimą, siekiant patikrinti, ar atitikties elgsena perduodama.

arXiv cs.CL
Voice AI· Svarbu· 🧪 Verta testuoti

„xAI" atnaujino „Grok Voice" iki 3.0 versijos be kainos pokyčių

„xAI" išleido „Grok Voice 3.0" – naujausią kalbos-į-kalbą balso modelį, kurio kaina nesikeičia lyginant su ankstesne „Grok Voice 2.0" versija. Kūrėjai, naudojantys „grok-voice-latest" aliasą, naują modelį gauna automatiškai, nekeisdami kodo. Pati API lieka tokia pati kaip anksčiau.

xAI API Release Notes
Voice AI· Svarbu· 🧪 Verta testuoti

Mistral išleido atvirojo kodo realaus laiko arabų kalbos atpažinimo modelį Voxtral Mini 4B Realtime Arabic

Mistral AI pristatė Voxtral Mini 4B Realtime Arabic — srautinio kalbos atpažinimo (STT) modelį, pritaikytą arabų kalbos tarmėms, literatūrinei arabų kalbai ir kalbų kaitaliojimui pokalbio metu. 4,4 milijardo parametrų modelis apdoroja 16 kHz garsą realiu laiku su konfigūruojamu transkripcijos vėlavimu ir, esant 480 ms delsai, pasiekia vidutinį 8,82% simbolių klaidų rodiklį (CER) septyniuose arabų kalbos testuose — tai artima neprisijungus veikiančio Voxtral Transcribe Arabic modelio 7,91% rodikliui. Modelis sukurtas kartu su Maroko skaitmeninės transformacijos ministerija kaip suvereni AI priemonė ir išleistas pagal Apache 2.0 licenciją.

Mistral AI (Hugging Face)
Voice AI· Svarbu· 🧪 Verta testuoti

Deepgram išplėtė medicininį kalbos atpažinimą iki 10 kalbų

Deepgram išplėtė savo specializuotą medicinos kalbos modelį Nova-3 Medical nuo vien anglų kalbos iki 10 kalbų, įskaitant ispanų, vokiečių, hindi, japonų ir rusų, su automatišku kalbų perjungimu tiek paketiniame, tiek srautiniame režime. 115 valandų kruopščiai atrinkto medicininio garso testavimo rinkinyje daugiakalbis medicininis modelis sumažino žodžių klaidų normą 25-30 %, o esybių (vaistų, dozių, diagnozių) klaidų normą – 37-40 %, lyginant su Deepgram bendru daugiakalbiu modeliu. Jis taip pat aplenkė konkuruojančius ElevenLabs ir Microsoft modelius vidutine žodžių klaidų norma visose 10 kalbų.

Deepgram
Voice AI· Svarbu· 🧪 Verta testuoti

AssemblyAI pristato Sync API: pilna transkripcija per vieną HTTP užklausą, ~134ms uždelsimas

AssemblyAI pristatė Sync API — naują transporto būdą trumpų garso įrašų transkripcijai: vienas HTTP POST užklausimas grąžina baigtą Universal-3.5 Pro transkripciją toje pačioje atsakyme, vidutiniškai per ~134ms. Tai užpildo tarpą tarp Async API (pateikti ir laukti, pridedant 5-6 sekundes uždelsimo) ir Realtime API (WebSocket, skirtas tęstinėms sesijoms), taikant dėmesį tokioms užduotims kaip diktavimas, pokalbių agento ėjimų transkripcija, IVR ir push-to-talk. Palaikomi 80ms–2min ilgio įrašai iki 40MB, su 1,59% klaidų lygiu trumpam garsui. Kaina — 0,45 USD/val., tiek pat, kiek Universal-3.5 Pro Realtime.

AssemblyAI
Voice AI· Svarbu· 🧪 Verta testuoti

AssemblyAI pristato Qwen3.5 4B LLM Gateway platformoje greitam balso transkripcijų perrašymui

AssemblyAI paleido atviro kodo Qwen3.5 4B modelio diegimą savo LLM Gateway platformoje, specialiai optimizuotą perrašyti neapdorotą kalbos-teksto išvestį į švarų, suformatuotą tekstą. Balso perrašymo užduotyse, tokiose kaip diktavimo valymas ir transkripcijos formatavimas, modelis vidutiniškai atsakė per 612ms — 1,9 karto greičiau nei GPT-4.1 — ir kainavo 94% mažiau per valandą apdoroto garso. Modelio kaina — $0.10/$0.50 už milijoną tokenų (užklausa/atsakymas), palaikomi tik max_tokens, temperature ir stream parametrai, be įrankių kvietimo (tool calling).

AssemblyAI
Voice AI· Svarbu· 🧪 Verta testuoti

NVIDIA paskelbė Nemotron modelio pritaikymo dialektams metodiką kalbos atpažinimui

NVIDIA pristatė detalią darbo eigą, kaip pritaikyti daugiakalbį srautinį ASR modelį Nemotron 3.5 Saudo Arabijos dialektams (Najdi ir Hijazi). Naudojant minimalų duomenų kuravimą, „replay mixing“ su FLEURS duomenimis, trukme pagrįstą grupavimą ir dalinį enkoderio atšaldymą, žodžių klaidų dažnis (WER) tiksliniuose dialektuose sumažintas nuo 55,05% iki 29,96%, kartu šiek tiek pagerinant anglų ir kitų arabų dialektų atpažinimą. Straipsnyje taip pat aptariami dekodavimo pakeitimai ir kalbėtojų diarizacijos plėtiniai keliems kalbėtojams.

NVIDIA Developer