Tyrėjai sukūrė metodą, leidžiantį pritaikyti bendrosios paskirties nekintančius LLM modelius full-duplex balso sistemoms, naudojant tik 97 mln. mokomų parametrų ir 30 GPU valandų treniravimo. Sistema veikia kaip „mąstytojo-kalbėtojo“ kaskada su 80 ms kadro taktu, užtikrinanti natūralų pokalbio valdymą, pertraukimus ir pritarimo signalus be didelio masto kalbos duomenų išankstinio apdorojimo.
„ElevenLabs“ pristatė svarbius platformos atnaujinimus „NYC Summit“ renginyje, daugiausia dėmesio skirdama pritaikomam modelių derinimu, „Interaction Engine“ išmaniam modelių maršrutizavimui ir ilgalaikei agentų atminčiai. Taip pat pristatytos „Routines“ funkcijos darbų eigai automatizuoti ir „ElevenAI“ programa produktyvumui.
„Amazon“ įgalino programinės įrangos apskaitą pagal suvartojimą dvikrypčio srautinio perdavimo modeliams „SageMaker AI“ platformoje. Anksčiau ilgos trukmės sesijoms buvo sunku taikyti programinės įrangos mokesčius, nes jų nebuvo galima suderinti su paprastomis HTTP atsakymų antraštėmis. Dabar modelių teikėjai gali pranešti apie faktinį suvartojimą realiuoju laiku naudodami specialų metaduomenų „WebSocket“ ryšį.
„Google“ išplėtė „AI Edge Gallery“ funkcijas, pridėdama balso atpažinimo (ASR) ir sintezės (TTS) galimybes įrenginiuose. Programuotojai dabar gali integruoti šiuos greitus, neprisijungus veikiančius modelius per „Android“ „ML Kit“ arba „MediaPipe Tasks“, kurie palaiko daugiau nei 100 kalbų ir užtikrina didelį energijos efektyvumą.
„Cartesia“ pristatė du balso modelius: „Sonic“ (teksto pavertimas balsu) ir „Ink“ (balsas į tekstą). Sukurti naudojant būsenos erdvės modelio (SSM) architektūrą, šie modeliai yra skirti itin mažo vėlinimo, realaus laiko veikimui, tinkamam profesionaliems balso agentams.
„AssemblyAI“ išleido „Universal-3 Pro“ – specializuotą kalbos į tekstą (STT) modelį, leidžiantį kūrėjams pateikti instrukcijas tiesiogiai transkripcijos metu. Modelis palaiko tikslią (verbatim) ir tvarkingą (clean) transkripciją, pasirinktinių garso įvykių žymėjimą ir automatiškai perjungia šešias kalbas.
„AssemblyAI“ pristatė „AssemblyAI-TTS-1“ – tekstas-į-kalbą (TTS) modelį, optimizuotą balso agentams. Jis užtikrina mažesnį nei 100 ms vėlinimą, turi daugiau nei 4000 balsų biblioteką ir greitą balso klonavimą už 15 USD kainą už 1 mln. simbolių.
„Audible“ sukūrė valdomą teksto į kalbą (TTS) sistemą, kuri naudoja didelius kalbos modelius (LLM) veikėjų profiliavimui ir dialogų priskyrimui su iki 97% tikslumu. Naudojant natūralios kalbos aprašymus kaip „scenos nurodymus“, sistema užtikrina išskirtinius ir nuoseklius veikėjų balsus viso ilgo formato turinio metu.
Mistral AI išleido Voxtral 3 – kalbos atpažinimo ir kalbos sintezės modelių šeimą kartu su SDK, leidžiančiu vienoje realaus laiko grandinėje klausyti, mąstyti, iškviesti įrankius ir kalbėti. Atpažinimo modeliai (Small, Mini ir Realtime Transcribe 3) palaiko 50+ kalbų su kalbėtojų atskyrimu (diarizacija), raktažodžių paryškinimu techniniam žodynui ir mažesne nei 500ms delsa, kuri, anot Mistral, lenkia Whisper, Scribe v2 ir Gemini 3.5 Transcribe jų atliktuose testuose. Kalbos sintezės modelis Mini TTS 3 palaiko 35+ kalbas ir 50+ dialektų su emocijomis, tempu ir akcentavimu, prisitaikančiais prie konteksto, kainuojantis 13 USD už milijoną simbolių, o atskira funkcija Pro Voice gali atkurti žmogaus balsą ir emocinį diapazoną vos iš 30 minučių įrašo. Visi komponentai veikia per Mistral ES talpinamą API arba gali būti diegiami kliento serveriuose.