Pereiti prie turinio
2026 m. lapkričio 19 d., ketvirtadienis
Tenesys AI News
Prenumerata

Visos naujienos

TENESYS AI NEWS seka svarbiausias AI naujienas ir paaiškina, kas pasikeitė, kodėl tai svarbu ir ar technologiją verta išbandyti.

#Speech-to-Text — 21 straipsnis ✕

Tyrimai· Svarbu· 🧪 Verta testuoti

Naujas duomenų atžvilgiu efektyvus metodas įgalina full-duplex balso agentus naudojant nekintančius LLM

Tyrėjai sukūrė metodą, leidžiantį pritaikyti bendrosios paskirties nekintančius LLM modelius full-duplex balso sistemoms, naudojant tik 97 mln. mokomų parametrų ir 30 GPU valandų treniravimo. Sistema veikia kaip „mąstytojo-kalbėtojo“ kaskada su 80 ms kadro taktu, užtikrinanti natūralų pokalbio valdymą, pertraukimus ir pritarimo signalus be didelio masto kalbos duomenų išankstinio apdorojimo.

arXiv cs.CL
Agentai· Svarbu· 🧪 Verta testuoti

„ElevenLabs“ plečia verslo AI platformą su naujomis agentų, automatizavimo ir modelių galimybėmis

„ElevenLabs“ pristatė svarbius platformos atnaujinimus „NYC Summit“ renginyje, daugiausia dėmesio skirdama pritaikomam modelių derinimu, „Interaction Engine“ išmaniam modelių maršrutizavimui ir ilgalaikei agentų atminčiai. Taip pat pristatytos „Routines“ funkcijos darbų eigai automatizuoti ir „ElevenAI“ programa produktyvumui.

ElevenLabs
Voice AI· Svarbu· 🧪 Verta testuoti

„Medical Mode“ atnaujinimas sumažina klaidų transkribuojant vaistų pavadinimus

„AssemblyAI“ pristatė savo „Medical Mode“ funkcijos atnaujinimą, skirtą pagerinti itin svarbių klinikinių terminų, tokių kaip vaistų pavadinimai ir diagnozės, transkripciją. Šis patobulinimas 30 % sumažina praleistų vaistų pavadinimų skaičių anglų kalba ir iki 62 % – ispanų kalba, išlaikant bendrą žodžių klaidų rodiklį.

AssemblyAI
Voice AI· Svarbu· 🧪 Verta testuoti

AssemblyAI pristatė programuojamą kalbos modelį „Universal-3 Pro“

„AssemblyAI“ išleido „Universal-3 Pro“ – specializuotą kalbos į tekstą (STT) modelį, leidžiantį kūrėjams pateikti instrukcijas tiesiogiai transkripcijos metu. Modelis palaiko tikslią (verbatim) ir tvarkingą (clean) transkripciją, pasirinktinių garso įvykių žymėjimą ir automatiškai perjungia šešias kalbas.

AssemblyAI
Modeliai· Svarbu· 🧪 Verta testuoti

„NVIDIA“ pristatė „Nemotron 3.5 Transcribe“ daugiakalbei garso analizei

„NVIDIA“ išleido „Nemotron 3.5 Transcribe“ – atviro svorio, instrukcijomis valdomą modelį, skirtą kalbos vertimui į tekstą, pranešėjų diarizacijai ir vertimui. Modelyje naudojama hibridinė „Mamba-Transformer“ architektūra, užtikrinanti geriausią pramonės našumą su vos 4 milijardais aktyvių parametrų.

Hugging Face
Voice AI· Svarbu· 🧪 Verta testuoti

„Audible“ tobulina garsinių knygų sintezę naudodama valdomą TTS

„Audible“ sukūrė valdomą teksto į kalbą (TTS) sistemą, kuri naudoja didelius kalbos modelius (LLM) veikėjų profiliavimui ir dialogų priskyrimui su iki 97% tikslumu. Naudojant natūralios kalbos aprašymus kaip „scenos nurodymus“, sistema užtikrina išskirtinius ir nuoseklius veikėjų balsus viso ilgo formato turinio metu.

Amazon Science
Voice AI· Svarbu· 🧪 Verta testuoti

IBM atnaujino „Granite Speech“ liniją: naujas ASR modelis, greitesnė transkripcija ir tikslesnis kalbėtojų atskyrimas

IBM pristatė tris „Granite Speech“ šeimos atnaujinimus: visiškai naują 2B kalbos-kalbos modelį (granite-speech-5.0-2b), patobulintą 470M „Turbo CTC“ modelį, skirtą greičiui, ir patobulintą 4.1-2B-Plus modelį, pritaikytą pokalbiams su keliais kalbėtojais. Kartu jie skirti tikslesnei transkripcijai/vertimui, greitam atpažinimui įrenginyje ir tiksliam kalbėtojų bei laiko žymių nurodymui. Visi trys lieka pagal Apache 2.0 licenciją.

Hugging Face
Voice AI· Svarbu· 🧪 Verta testuoti

Mistral pristatė Voxtral 3: kalbos atpažinimo, sintezės modeliai ir realaus laiko agentų SDK

Mistral AI išleido Voxtral 3 – kalbos atpažinimo ir kalbos sintezės modelių šeimą kartu su SDK, leidžiančiu vienoje realaus laiko grandinėje klausyti, mąstyti, iškviesti įrankius ir kalbėti. Atpažinimo modeliai (Small, Mini ir Realtime Transcribe 3) palaiko 50+ kalbų su kalbėtojų atskyrimu (diarizacija), raktažodžių paryškinimu techniniam žodynui ir mažesne nei 500ms delsa, kuri, anot Mistral, lenkia Whisper, Scribe v2 ir Gemini 3.5 Transcribe jų atliktuose testuose. Kalbos sintezės modelis Mini TTS 3 palaiko 35+ kalbas ir 50+ dialektų su emocijomis, tempu ir akcentavimu, prisitaikančiais prie konteksto, kainuojantis 13 USD už milijoną simbolių, o atskira funkcija Pro Voice gali atkurti žmogaus balsą ir emocinį diapazoną vos iš 30 minučių įrašo. Visi komponentai veikia per Mistral ES talpinamą API arba gali būti diegiami kliento serveriuose.

Mistral AI
Voice AI· Svarbu· 🧪 Verta testuoti

Deepgram sumažino paketinės transkripcijos kaštus perkėlęs Nova-3 į AWS Trainium2

AWS ir Deepgram kartu perrašė Nova-3 kalbos atpažinimo modelį, kad jis veiktų tiesiogiai ant Trainium2 lustų vietoj įprastos GPU pagrįstos PyTorch infrastruktūros, orientuojantis į didelio masto nesinchroninius transkripcijos darbus. Darbo metu buvo perrašyti lėčiausi sluoksniai į individualius branduolius (kernels), o Python paslaugų sluoksnis pakeistas Rust laikomąja sistema, tiesiogiai kreipiantis į Trainium. Rezultatas: viena trn2.3xlarge instancija, vykdanti aštuonias lygiagrečias modelio kopijas, apdoroja 11-70% daugiau garso vienam doleriui nei ankstesnė Deepgram infrastruktūra, o panašus sutaupymas potencialiai pasiekiamas klientams, savarankiškai diegiantiems sprendimą per SageMaker.

AWS Machine Learning
Modeliai· Svarbu· 🧪 Verta testuoti

IBM sujungia transkripciją, sprendimų priėmimą ir pokalbį viename Granite Switch modelyje

IBM pristatė Granite Switch 4.1 8B ir 30B dydžio versijas – modulinę sistemą, kuri vykdo pokalbį, sprendimų priėmimą ir kalbos transkripciją iš vieno talpinamo endpoint'o, o ne iš atskirų modelių. Atnaujinime pridėtas bendros paskirties sprendimų adapteris, specializuotas „Guardian“ adapteris saugumo klasifikacijai ir integruotas ASR modelis Granite-Speech-5.0-Turbo-CTC, pirmaujantis OpenASR reitinge. Nors sujungtos trys funkcijos, bendras modelis naudoja maždaug tiek pat VRAM, kiek ir pagrindinis modelis vienas.

Hugging Face
Voice AI· Svarbu· 🧪 Verta testuoti

Mistral išleido atvirojo kodo realaus laiko arabų kalbos atpažinimo modelį Voxtral Mini 4B Realtime Arabic

Mistral AI pristatė Voxtral Mini 4B Realtime Arabic — srautinio kalbos atpažinimo (STT) modelį, pritaikytą arabų kalbos tarmėms, literatūrinei arabų kalbai ir kalbų kaitaliojimui pokalbio metu. 4,4 milijardo parametrų modelis apdoroja 16 kHz garsą realiu laiku su konfigūruojamu transkripcijos vėlavimu ir, esant 480 ms delsai, pasiekia vidutinį 8,82% simbolių klaidų rodiklį (CER) septyniuose arabų kalbos testuose — tai artima neprisijungus veikiančio Voxtral Transcribe Arabic modelio 7,91% rodikliui. Modelis sukurtas kartu su Maroko skaitmeninės transformacijos ministerija kaip suvereni AI priemonė ir išleistas pagal Apache 2.0 licenciją.

Mistral AI (Hugging Face)
Voice AI· 🧪 Verta testuoti

TII pristatė Falcon-ASR – 1,6 mlrd. parametrų kalbos atpažinimo modelį, orientuotą į arabų ir Emiratų dialektą

Technology Innovation Institute (TII) pristatė Falcon-ASR – 1,6 mlrd. parametrų automatinio kalbos atpažinimo (ASR) modelį, pirmiausia skirtą arabų kalbai, ypač Emiratų dialektui. Tais pačiais modelio svoriais jis taip pat transkribuoja anglų, prancūzų, ispanų ir portugalų kalbas. TII teigia, kad modelis aplenkia geriausią viešai skelbtą rezultatą standartiniame arabų kalbos teste ir pirmauja vidiniame Emiratų dialekto vertinime, taip pat palaiko žodžių lygio laiko žymas.

Hugging Face
Voice AI· Svarbu· 🧪 Verta testuoti

AssemblyAI pristato Sync API: pilna transkripcija per vieną HTTP užklausą, ~134ms uždelsimas

AssemblyAI pristatė Sync API — naują transporto būdą trumpų garso įrašų transkripcijai: vienas HTTP POST užklausimas grąžina baigtą Universal-3.5 Pro transkripciją toje pačioje atsakyme, vidutiniškai per ~134ms. Tai užpildo tarpą tarp Async API (pateikti ir laukti, pridedant 5-6 sekundes uždelsimo) ir Realtime API (WebSocket, skirtas tęstinėms sesijoms), taikant dėmesį tokioms užduotims kaip diktavimas, pokalbių agento ėjimų transkripcija, IVR ir push-to-talk. Palaikomi 80ms–2min ilgio įrašai iki 40MB, su 1,59% klaidų lygiu trumpam garsui. Kaina — 0,45 USD/val., tiek pat, kiek Universal-3.5 Pro Realtime.

AssemblyAI
Voice AI· Svarbu· 🧪 Verta testuoti

AssemblyAI pristato Qwen3.5 4B LLM Gateway platformoje greitam balso transkripcijų perrašymui

AssemblyAI paleido atviro kodo Qwen3.5 4B modelio diegimą savo LLM Gateway platformoje, specialiai optimizuotą perrašyti neapdorotą kalbos-teksto išvestį į švarų, suformatuotą tekstą. Balso perrašymo užduotyse, tokiose kaip diktavimo valymas ir transkripcijos formatavimas, modelis vidutiniškai atsakė per 612ms — 1,9 karto greičiau nei GPT-4.1 — ir kainavo 94% mažiau per valandą apdoroto garso. Modelio kaina — $0.10/$0.50 už milijoną tokenų (užklausa/atsakymas), palaikomi tik max_tokens, temperature ir stream parametrai, be įrankių kvietimo (tool calling).

AssemblyAI
Voice AI· Svarbu· 🧪 Verta testuoti

AssemblyAI pristatė Universal-3.5 Pro su natūraliu kalbų perjungimu ir patobulintu kalbėtojų atskyrimu

AssemblyAI išleido Universal-3.5 Pro — naują pagrindinį asinchroninį kalbos atpažinimo (STT) modelį, kainuojantį 0,21 USD/val. Modelis natūraliai transkribuoja kalbų perjungimo (code-switching) pokalbius 18 kalbų be papildomos konfigūracijos, pristato bendrai modeliuojamą kalbėtojų atskyrimą, integruotą tiesiai į transkriptą (o ne sujungtą iš atskiros sistemos), bei palaiko kontekstinį paraginimą, leidžiantį pateikti modeliui srities žinias. Testai rodo mažesnį žodžių klaidų lygį kalbų perjungimo garso įrašuose ir didesnį cpWER tikslumą kalbėtojų atskyrime, lyginant su kelais konkurentų modeliais ir ankstesniu AssemblyAI Universal-3 Pro.

AssemblyAI
Voice AI· Svarbu· 🧪 Verta testuoti

NVIDIA paskelbė Nemotron modelio pritaikymo dialektams metodiką kalbos atpažinimui

NVIDIA pristatė detalią darbo eigą, kaip pritaikyti daugiakalbį srautinį ASR modelį Nemotron 3.5 Saudo Arabijos dialektams (Najdi ir Hijazi). Naudojant minimalų duomenų kuravimą, „replay mixing“ su FLEURS duomenimis, trukme pagrįstą grupavimą ir dalinį enkoderio atšaldymą, žodžių klaidų dažnis (WER) tiksliniuose dialektuose sumažintas nuo 55,05% iki 29,96%, kartu šiek tiek pagerinant anglų ir kitų arabų dialektų atpažinimą. Straipsnyje taip pat aptariami dekodavimo pakeitimai ir kalbėtojų diarizacijos plėtiniai keliems kalbėtojams.

NVIDIA Developer