Naukowcy opracowali metodę adaptacji ogólnych, zamrożonych modeli LLM do systemów głosowych full-duplex przy użyciu zaledwie 97 milionów trenowalnych parametrów i 30 godzin pracy procesora GPU. System działa jako kaskada myśliciel-mówca z zegarem ramkowym 80 ms, co pozwala na naturalną zmianę ról w rozmowie, przerywanie i potakiwanie bez konieczności kosztownego trenowania na ogromnych zbiorach danych mowy.
Podczas NYC Summit firma ElevenLabs ogłosiła szereg aktualizacji, koncentrując się na precyzyjnym dostrajaniu modeli (fine-tuning), silniku „Interaction Engine” do inteligentnego zarządzania modelami oraz trwałej pamięci agentów. Wprowadzono również funkcję „Routines” do automatyzacji procesów oraz aplikację „ElevenAI” poprawiającą produktywność na spotkaniach.
Firma AssemblyAI udostępniła aktualizację funkcji Medical Mode, zaprojektowaną w celu poprawy transkrypcji kluczowych terminów klinicznych, takich jak leki czy diagnozy. Aktualizacja ta redukuje liczbę błędów w nazwach leków o 30% w języku angielskim i do 62% w języku hiszpańskim, przy zachowaniu dotychczasowego poziomu wskaźnika błędów słownych (WER).
AssemblyAI wprowadziło funkcję SpeakerRevision, która dostarcza poprawione etykiety mówców pod koniec strumienia na żywo. Wykorzystując kontekst niedostępny w trakcie przetwarzania real-time, osiąga dokładność na poziomie transkrypcji asynchronicznej, eliminując potrzebę utrzymywania podwójnych potoków przetwarzania.
Firma Gradium udostępniła Phonon, zestaw kompaktowych (65-75 MB) modeli zamiany tekstu na mowę, zaprojektowanych do pracy w całości na urządzeniach końcowych. Modele obsługują pięć języków, działają offline i oferują wydajność porównywalną z rozwiązaniami o znacznie większych rozmiarach.
Firma Cartesia wprowadziła dwa modele do zastosowań głosowych: Sonic (zamiana tekstu na mowę) oraz Ink (zamiana mowy na tekst). Zbudowane w oparciu o architekturę State Space Model (SSM), modele te zostały zaprojektowane z myślą o ultra-niskich opóźnieniach i wydajności w czasie rzeczywistym, co jest kluczowe dla profesjonalnych agentów głosowych.
AssemblyAI udostępniło Universal-3 Pro, wyspecjalizowany model zamiany mowy na tekst, który umożliwia programistom wydawanie poleceń bezpośrednio podczas procesu transkrypcji. Obsługuje transkrypcję dokładną (verbatim) oraz oczyszczoną, etykietowanie zdarzeń dźwiękowych i automatyczne przełączanie między sześcioma językami.
Firma NVIDIA wprowadziła Nemotron 3.5 Transcribe, model o otwartych wagach, sterowany za pomocą instrukcji, przeznaczony do zamiany mowy na tekst, diaryzacji mówców i tłumaczeń. Model wykorzystuje hybrydową architekturę Mamba-Transformer, osiągając wiodącą w branży wydajność przy zaledwie 4 miliardach aktywnych parametrów.
Firma LiquidAI wprowadziła LFM3, nową generację małych modeli bazowych zbudowanych na wspólnym szkielecie 2B parametrów. Seria obejmuje modele tekstowe, wizyjne, audio i „omni”, zaprojektowane z myślą o wysokiej wydajności na urządzeniach końcowych.
Audible opracowało potok syntezy mowy (TTS), który wykorzystuje duże modele językowe (LLM) do profilowania postaci i przypisywania dialogów z dokładnością do 97%. Dzięki stosowaniu „wskazówek scenicznych” w formie opisów tekstowych, system zapewnia wyraźne i spójne głosy postaci w długich treściach audio.
IBM wprowadził trzy aktualizacje rodziny Granite Speech: zupełnie nowy model mowa-język na 2B parametrów (granite-speech-5.0-2b), ulepszony model Turbo CTC na 470M parametrów nastawiony na szybkość oraz poprawiony model 4.1-2B-Plus dostosowany do nagrań z wieloma mówcami. Razem odpowiadają za wysoką dokładność transkrypcji/tłumaczenia, szybkie rozpoznawanie na urządzeniu oraz dokładne etykietowanie mówców i znaczników czasu. Wszystkie trzy pozostają na licencji Apache 2.0.
Mistral AI wydał Voxtral 3 – zestaw modeli rozpoznawania i syntezy mowy wraz z SDK, który w jednym potoku czasu rzeczywistego potrafi słuchać, wnioskować, wywoływać narzędzia i odpowiadać głosem. Modele rozpoznawania (Small, Mini i Realtime Transcribe 3) obsługują ponad 50 języków z rozróżnianiem mówców (diaryzacja), wzmacnianiem słów kluczowych dla słownictwa technicznego oraz opóźnieniem transkrypcji poniżej 500 ms, co według Mistral przewyższa Whisper, Scribe v2 i Gemini 3.5 Transcribe w ich testach. Model syntezy mowy Mini TTS 3 obsługuje ponad 35 języków i 50 dialektów z emocjami, tempem i akcentowaniem dostosowującymi się do kontekstu, w cenie 13 USD za milion znaków, a osobna funkcja Pro Voice potrafi odtworzyć głos i zakres emocjonalny osoby na podstawie zaledwie 30 minut nagrania. Wszystkie komponenty działają przez hostowane w UE API Mistral lub mogą być wdrożone na serwerach klienta.
AWS i Deepgram wspólnie przebudowały model rozpoznawania mowy Nova-3, aby działał natywnie na chipach Trainium2 zamiast standardowej infrastruktury PyTorch opartej na GPU, celując w duże zadania transkrypcji offline. Prace objęły przepisanie wąskich gardeł na własne kernele oraz zastąpienie warstwy serwującej Pythona środowiskiem uruchomieniowym w Rust, komunikującym się bezpośrednio z Trainium. Efekt: pojedyncza instancja trn2.3xlarge uruchamiająca osiem równoległych kopii modelu przetwarza 11-70% więcej dźwięku na dolara niż poprzednia infrastruktura Deepgram, a podobne oszczędności mogą być dostępne dla klientów samodzielnie hostujących rozwiązanie na SageMaker.
IBM wydało Granite Switch 4.1 w wersjach 8B i 30B – modularny system, który obsługuje rozmowę, podejmowanie decyzji i transkrypcję mowy z jednego hostowanego endpointu zamiast z osobnych modeli. Aktualizacja dodaje ogólny adapter decyzyjny, wyspecjalizowany adapter Guardian do klasyfikacji związanych z bezpieczeństwem oraz wbudowany model ASR Granite-Speech-5.0-Turbo-CTC, który zajmuje pierwsze miejsce w rankingu OpenASR. Mimo połączenia trzech funkcji, zintegrowany model zużywa mniej więcej tyle samo VRAM co sam model bazowy.
Mistral AI wydał Voxtral Mini 4B Realtime Arabic — strumieniowy model rozpoznawania mowy (STT) dostrojony do dialektów arabskich, standardowego arabskiego oraz przełączania kodów językowych podczas rozmowy. Model z 4,4 mld parametrów przetwarza dźwięk 16 kHz w czasie rzeczywistym z konfigurowalnym opóźnieniem transkrypcji, osiągając przy opóźnieniu 480 ms średni wskaźnik błędów znakowych (CER) 8,82% w siedmiu testach dla języka arabskiego — blisko wyniku 7,91% CER offline'owego modelu Voxtral Transcribe Arabic. Model powstał we współpracy z marokańskim ministerstwem transformacji cyfrowej w ramach suwerennego partnerstwa AI i jest wydany na licencji Apache 2.0.
AssemblyAI zaprezentowało Sync API — nowy sposób transkrypcji krótkich nagrań audio: jedno żądanie HTTP POST zwraca gotową transkrypcję Universal-3.5 Pro w tej samej odpowiedzi, przy medianie opóźnienia ok. 134ms. Wypełnia to lukę między Async API (wysyłka i odpytywanie, dodające 5-6 sekund opóźnienia) a Realtime API (WebSocket, przeznaczone do ciągłych sesji), odpowiadając na potrzeby takie jak dyktowanie, transkrypcja tur rozmowy w agentach głosowych, IVR i push-to-talk. Obsługiwane są nagrania od 80ms do 2 minut, do 40MB, z poziomem błędów 1,59% dla krótkich nagrań. Cena wynosi 0,45 USD/godz., tyle samo co Universal-3.5 Pro Realtime.
AssemblyAI uruchomił hostowane wdrożenie open-source'owego modelu Qwen3.5 4B w swoim LLM Gateway, zoptymalizowane specjalnie do przepisywania surowej wyjściowej transkrypcji mowy na tekst na czysty, sformatowany tekst. W zadaniach przepisywania głosowego, takich jak czyszczenie dyktowania i formatowanie transkrypcji, model osiągał średni czas odpowiedzi 612ms — 1,9x szybciej niż GPT-4.1 — przy 94% niższym koszcie na godzinę przetworzonego audio. Cena modelu to $0.10/$0.50 za milion tokenów (prompt/odpowiedź), wspierane są tylko parametry max_tokens, temperature i stream, bez wywoływania narzędzi.
AssemblyAI wydała Universal-3.5 Pro, nowy flagowy asynchroniczny model mowy-na-tekst w cenie 0,21 USD/godz. Model natywnie transkrybuje rozmowy z przełączaniem języków (code-switching) w 18 językach bez dodatkowej konfiguracji, wprowadza wspólnie modelowane rozpoznawanie mówców wbudowane bezpośrednio w transkrypt (zamiast łączenia z osobnego systemu) oraz obsługuje kontekstowe podpowiadanie, pozwalające dostarczyć modelowi wiedzę branżową. Testy pokazują niższy wskaźnik błędów słów na nagraniach z przełączaniem języków oraz wyższą dokładność cpWER w rozpoznawaniu mówców w porównaniu z kilkoma modelami konkurencji oraz wcześniejszym Universal-3 Pro od AssemblyAI.
NVIDIA opublikowała szczegółowy workflow do fine-tuningu swojego wielojęzycznego, strumieniowego modelu Nemotron 3.5 ASR na saudyjskich dialektach arabskich (nadżdyjskim i hidżaskim). Przy minimalnej kuracji danych, mieszaniu replay z danymi FLEURS, bucketingu opartym na czasie trwania oraz częściowym odmrażaniu enkodera, zmniejszono wskaźnik błędu słów (WER) dla docelowych dialektów z 55,05% do 29,96%, jednocześnie nieznacznie poprawiając wyniki dla języka angielskiego i innych dialektów arabskich. We wpisie omówiono też modyfikacje dekodowania oraz rozszerzenia diaryzacji mówców dla transkrypcji wielomówcowej.