Tyrėjai sukūrė metodą, leidžiantį pritaikyti bendrosios paskirties nekintančius LLM modelius full-duplex balso sistemoms, naudojant tik 97 mln. mokomų parametrų ir 30 GPU valandų treniravimo. Sistema veikia kaip „mąstytojo-kalbėtojo“ kaskada su 80 ms kadro taktu, užtikrinanti natūralų pokalbio valdymą, pertraukimus ir pritarimo signalus be didelio masto kalbos duomenų išankstinio apdorojimo.
„ElevenLabs“ pristatė svarbius platformos atnaujinimus „NYC Summit“ renginyje, daugiausia dėmesio skirdama pritaikomam modelių derinimu, „Interaction Engine“ išmaniam modelių maršrutizavimui ir ilgalaikei agentų atminčiai. Taip pat pristatytos „Routines“ funkcijos darbų eigai automatizuoti ir „ElevenAI“ programa produktyvumui.
„AssemblyAI“ pristatė savo „Medical Mode“ funkcijos atnaujinimą, skirtą pagerinti itin svarbių klinikinių terminų, tokių kaip vaistų pavadinimai ir diagnozės, transkripciją. Šis patobulinimas 30 % sumažina praleistų vaistų pavadinimų skaičių anglų kalba ir iki 62 % – ispanų kalba, išlaikant bendrą žodžių klaidų rodiklį.
AssemblyAI pristatė „SpeakerRevision“ funkciją, kuri pateikia pakoreguotus kalbėtojų žymenis tiesioginės transliacijos pabaigoje. Naudojant kontekstą, kuris nebuvo prieinamas realiuoju laiku, pasiekiamas asinchroninio transkribavimo tikslumas, todėl nebereikia dubliuoti apdorojimo procesų.
„Gradium“ išleido „Phonon“ – kompaktiškų (65–75 MB) teksto į kalbą modelių rinkinį, skirtą veikti tiesiogiai vartotojo įrenginyje. Jis palaiko penkias kalbas, veikia be interneto ir demonstruoja rezultatus, prilygstančius gerokai didesniems modeliams.
„Cartesia“ pristatė du balso modelius: „Sonic“ (teksto pavertimas balsu) ir „Ink“ (balsas į tekstą). Sukurti naudojant būsenos erdvės modelio (SSM) architektūrą, šie modeliai yra skirti itin mažo vėlinimo, realaus laiko veikimui, tinkamam profesionaliems balso agentams.
„AssemblyAI“ išleido „Universal-3 Pro“ – specializuotą kalbos į tekstą (STT) modelį, leidžiantį kūrėjams pateikti instrukcijas tiesiogiai transkripcijos metu. Modelis palaiko tikslią (verbatim) ir tvarkingą (clean) transkripciją, pasirinktinių garso įvykių žymėjimą ir automatiškai perjungia šešias kalbas.
IBM išleido „Granite Switch 4.1.1“ – pataisą savo modulinių kalbos modelių architektūrai. Atnaujinimas apima geresnį daugiakalbį kalbos atpažinimo (ASR) modelį ir patobulintą „Decision“ adapterį, nereikalaujant pakartotinio bazinio modelio treniravimo.
„NVIDIA“ išleido „Nemotron 3.5 Transcribe“ – atviro svorio, instrukcijomis valdomą modelį, skirtą kalbos vertimui į tekstą, pranešėjų diarizacijai ir vertimui. Modelyje naudojama hibridinė „Mamba-Transformer“ architektūra, užtikrinanti geriausią pramonės našumą su vos 4 milijardais aktyvių parametrų.
„LiquidAI“ išleido „LFM3“ – naujos kartos mažus fundamentalius modelius, veikiančius bendrame 2B parametrų pagrinde. Seriją sudaro teksto, vaizdo, garso ir „omni“ modeliai, sukurti efektyviam veikimui tiesiogiai įrenginiuose.
„Audible“ sukūrė valdomą teksto į kalbą (TTS) sistemą, kuri naudoja didelius kalbos modelius (LLM) veikėjų profiliavimui ir dialogų priskyrimui su iki 97% tikslumu. Naudojant natūralios kalbos aprašymus kaip „scenos nurodymus“, sistema užtikrina išskirtinius ir nuoseklius veikėjų balsus viso ilgo formato turinio metu.
IBM pristatė tris „Granite Speech“ šeimos atnaujinimus: visiškai naują 2B kalbos-kalbos modelį (granite-speech-5.0-2b), patobulintą 470M „Turbo CTC“ modelį, skirtą greičiui, ir patobulintą 4.1-2B-Plus modelį, pritaikytą pokalbiams su keliais kalbėtojais. Kartu jie skirti tikslesnei transkripcijai/vertimui, greitam atpažinimui įrenginyje ir tiksliam kalbėtojų bei laiko žymių nurodymui. Visi trys lieka pagal Apache 2.0 licenciją.
Mistral AI išleido Voxtral 3 – kalbos atpažinimo ir kalbos sintezės modelių šeimą kartu su SDK, leidžiančiu vienoje realaus laiko grandinėje klausyti, mąstyti, iškviesti įrankius ir kalbėti. Atpažinimo modeliai (Small, Mini ir Realtime Transcribe 3) palaiko 50+ kalbų su kalbėtojų atskyrimu (diarizacija), raktažodžių paryškinimu techniniam žodynui ir mažesne nei 500ms delsa, kuri, anot Mistral, lenkia Whisper, Scribe v2 ir Gemini 3.5 Transcribe jų atliktuose testuose. Kalbos sintezės modelis Mini TTS 3 palaiko 35+ kalbas ir 50+ dialektų su emocijomis, tempu ir akcentavimu, prisitaikančiais prie konteksto, kainuojantis 13 USD už milijoną simbolių, o atskira funkcija Pro Voice gali atkurti žmogaus balsą ir emocinį diapazoną vos iš 30 minučių įrašo. Visi komponentai veikia per Mistral ES talpinamą API arba gali būti diegiami kliento serveriuose.
AWS ir Deepgram kartu perrašė Nova-3 kalbos atpažinimo modelį, kad jis veiktų tiesiogiai ant Trainium2 lustų vietoj įprastos GPU pagrįstos PyTorch infrastruktūros, orientuojantis į didelio masto nesinchroninius transkripcijos darbus. Darbo metu buvo perrašyti lėčiausi sluoksniai į individualius branduolius (kernels), o Python paslaugų sluoksnis pakeistas Rust laikomąja sistema, tiesiogiai kreipiantis į Trainium. Rezultatas: viena trn2.3xlarge instancija, vykdanti aštuonias lygiagrečias modelio kopijas, apdoroja 11-70% daugiau garso vienam doleriui nei ankstesnė Deepgram infrastruktūra, o panašus sutaupymas potencialiai pasiekiamas klientams, savarankiškai diegiantiems sprendimą per SageMaker.