Badacze przedstawili „OmniTag-Bench”, nowy pięciojęzyczny zestaw testowy do oceny multimodalnych modeli LLM pod kątem jednoczesnej transkrypcji mowy i tagowania metadanych. Badanie wykazuje, że jeden, dotrenowany multimodalny model może wyodrębniać transkrypcje, emocje, płeć, język oraz nazwy własne w jednym przebiegu wnioskowania, zastępując łańcuchy specjalistycznych modeli.
Firma AssemblyAI wprowadziła STT-3.7, nowy model przetwarzania mowy na tekst, który zastępuje rodzinę Universal. Zapewnia on wsparcie dla większej liczby języków oraz poprawioną precyzję w identyfikacji mówców.
Cohere wypuściło najnowszą generację modeli do rerankingu dla firm, Rerank 5, w wersjach Pro i Fast. Rerank 5 Pro przoduje w głównych publicznych benchmarkach, w tym BRIGHT, ViDoRe V3, BEIR i nanoMTEB, a Rerank 5 Fast oferuje niemal tak samo wysoką jakość przy niższym koszcie i wyższej przepustowości. Nowością jest funkcja Context Focus, która zwraca najbardziej istotne fragmenty tekstu w dokumentach zamiast całych dokumentów, oraz skalibrowane wyniki trafności, które działają jak prawdopodobieństwa w różnych modelach i domenach.
Amazon nawiązał współpracę z niezależną organizacją non-profit AVERI, która zbadała jakość wewnętrznych zestawów danych do oceny bezpieczeństwa modeli AI, a nie same odpowiedzi modeli. AVERI przeanalizowało losową, zanonimizowaną próbkę promptów testowych obejmujących szkodliwe treści, cyberbezpieczeństwo, prywatność i prawa autorskie. Przegląd potwierdził dobre pokrycie tematyczne, różnorodność metod testowania i niskie ryzyko zanieczyszczenia danych, ale wskazał braki w pokryciu wielojęzycznym i testach wieloetapowych ataków adwersarialnych. W odpowiedzi Amazon wprowadził cztery konkretne zmiany.
OpenAI udostępniło funkcję prompt-to-voice wszystkim klientom API GPT-Live, umożliwiając zaprojektowanie głosu poprzez opisanie go tekstem — przez API lub w Playgroundzie głosów — a następnie wykorzystanie go w sesjach live. Zaprojektowanie głosu jest bezpłatne, natomiast samo generowanie mowy nadal rozliczane jest według standardowych stawek sesji GPT-Live. Jednocześnie do platformy dodano dziewięć nowych wbudowanych głosów w językach niemieckim, francuskim, hindi, japońskim i koreańskim.
Technology Innovation Institute (TII) wydał Falcon-ASR, model automatycznego rozpoznawania mowy (ASR) o 1,6 miliarda parametrów, stworzony przede wszystkim dla języka arabskiego, ze szczególnym uwzględnieniem dialektu emirackiego. Przy użyciu tych samych wag transkrybuje także angielski, francuski, hiszpański i portugalski. TII podaje, że model przewyższa najlepszy opublikowany wynik w standardowym benchmarku arabskim i prowadzi w wewnętrznej ocenie dialektu emirackiego, obsługując przy tym znaczniki czasowe na poziomie słów.
Deepgram rozszerzył swój wyspecjalizowany model mowy medycznej, Nova-3 Medical, z obsługi wyłącznie języka angielskiego do 10 języków, w tym hiszpańskiego, niemieckiego, hindi, japońskiego i rosyjskiego, z automatycznym przełączaniem języków zarówno w trybie wsadowym, jak i strumieniowym. W teście na 115 godzinach starannie dobranego nagrania medycznego wielojęzyczny model medyczny zmniejszył wskaźnik błędów słów o 25-30%, a wskaźnik błędów encji (leki, dawki, diagnozy) o 37-40% w porównaniu z ogólnym wielojęzycznym modelem Deepgram. Pokonał również konkurencyjne modele ElevenLabs i Microsoft pod względem średniego wskaźnika błędów słów we wszystkich 10 językach.