Google wprowadziło Gemini Decisions API, oparte na nowym modelu gemini-decision-1. W przeciwieństwie do standardowych modeli generatywnych, narzędzie to przeprowadza klasyfikację i ocenę w jednym przejściu dla tekstu, dźwięku, obrazów, wideo i plików PDF, zwracając wyniki prawdopodobieństwa zamiast wygenerowanego tekstu.
Amazon rozszerzył możliwości API AgenticRetrieveStream, pozwalając programistom określić poziom iteracji dla zapytań do bazy wiedzy. Teraz możesz wybierać między zerem, jednym lub wieloma krokami wyszukiwania, aby zrównoważyć szybkość, koszt i złożoność każdego zapytania.
Usługa Amazon SageMaker Inference wprowadziła obsługę NVIDIA Multi-Instance GPU (MIG), co pozwala na dzielenie pojedynczego fizycznego procesora graficznego na wiele niezależnych jednostek. Ten podział sprzętowy zapewnia każdej partycji dedykowane zasoby obliczeniowe i pamięć, gwarantując przewidywalne opóźnienia oraz silną izolację pomiędzy modelami hostowanymi na tym samym akceleratorze.
Agenci AI często błędnie interpretują starsze komentarze w kodzie, takie jak TODO lub FIXME, traktując je jako aktualne wytyczne. Badania wykazały, że w 6% sesji programistycznych agenci podejmują niepotrzebne działania dotyczące zamkniętych lub przestarzałych błędów, co prowadzi do wzrostu kosztów i nieplanowanego rozszerzenia zakresu prac (scope creep).
Badacze Apple wprowadzili podejście przyspieszające wyszukiwanie Maximum Inner Product Search (MIPS) w systemach RAG przy użyciu małych, wyspecjalizowanych sieci neuronowych. Trenując modele (SupportNet i KeyNet) w oparciu o rozkłady zapytań, systemy osiągają wyższą skuteczność (recall) przy niższym opóźnieniu w porównaniu do tradycyjnych metod partycjonowania.
Naukowcy opracowali metodę obliczania teoretycznej górnej granicy wydajności spekulatywnego dekodowania wielowariantowego (MDSD) poprzez rozwiązanie dualnego problemu transportu optymalnego. Badanie wykazuje, że obecne algorytmy weryfikacji często nie osiągają tego teoretycznego limitu, a próbkowanie bez zwracania (sampling without replacement) znacząco poprawia wskaźniki akceptacji w porównaniu do próbkowania ze zwracaniem.
Firma Cartesia wprowadziła dwa modele do zastosowań głosowych: Sonic (zamiana tekstu na mowę) oraz Ink (zamiana mowy na tekst). Zbudowane w oparciu o architekturę State Space Model (SSM), modele te zostały zaprojektowane z myślą o ultra-niskich opóźnieniach i wydajności w czasie rzeczywistym, co jest kluczowe dla profesjonalnych agentów głosowych.
Nowa funkcja w wersji beta pozwala na utrzymywanie stanu konwersacji po stronie serwera. Dzięki przesyłaniu tylko nowych wiadomości zamiast całej historii, możliwe jest skrócenie czasu do pierwszego tokena.
AssemblyAI wprowadziło AssemblyAI-TTS-1, model zamiany tekstu na mowę (TTS) stworzony dla agentów głosowych. Oferuje opóźnienia poniżej 100 ms, bibliotekę 4000+ głosów oraz natychmiastowe klonowanie głosu w cenie 15 USD za 1 mln znaków.
Firma Google zaktualizowała protokół generatywnego UI (A2UI), wprowadzając wymienne formaty wnioskowania (inference), aby rozwiązać problemy z opóźnieniami i niezawodnością występujące w poprzednim podejściu Direct JSON. Nowy format, A2UI Express, redukuje zużycie tokenów nawet 3-krotnie i opóźnienia nawet 3-krotnie, wykorzystując zwięzłą składnię w stylu Pythona.
Naukowcy przedstawili Boa Compressor, narzędzie typu online wykorzystujące model przestrzeni stanów Mamba do kompresji długiego kontekstu do krótszych reprezentacji w czasie liniowym. Dzięki destylacji wiedzy z pełnych interakcji LLM, metoda ta pozwala na wydajne wnioskowanie przy każdym zapytaniu, eliminując ogromne narzuty opóźnień typowe dla kompresji opartej na Transformerach.
Amazon Bedrock obsługuje teraz jawne i niejawne buforowanie promptów dla modeli OpenAI, umożliwiając przechowywanie i ponowne wykorzystywanie statycznych prefiksów, takich jak narzędzia, instrukcje i historia konwersacji. Unikając ponownego przetwarzania identycznych tokenów w każdej turze, można znacząco obniżyć koszty wejściowe i zwiększyć responsywność złożonych procesów agentowych.
IBM Research wydał vLLM-Hook MIA, plugin dla open-source'owego silnika wnioskowania vLLM, który pozwala deweloperom obserwować i ingerować w wewnętrzne stany modelu w czasie działania — np. odrzucać złośliwe prompty, oznaczać zmyślone fakty czy korygować ton odpowiedzi — bez wyłączania szybkiego trybu wykonywania opartego na powtarzaniu grafu w vLLM. Według raportu technicznego IBM, MIA jest nawet 20 razy szybszy niż poprzedni vLLM-Hook i nawet 14 razy szybszy niż metody wstawiające kod bezpośrednio do modelu. W testach sterowanie modelem 8B Llama lub 1,5B Qwen dodawało tylko około 2% opóźnienia, a model 70B Llama - około 6%.
AWS udostępnił konektor NIXL typu „push” dla vLLM, zmieniający sposób przesyłania danych pamięci podręcznej klucz-wartość (KV) między instancjami prefill i decode w rozdzielonym serwowaniu LLM. Zamiast pobierania bloków KV przez instancję decode po zakończeniu prefill, instancja decode z wyprzedzeniem rejestruje docelową pamięć, a instancja prefill zapisuje dane KV bezpośrednio, gdy tylko są gotowe — usuwając koordynację ze ścieżki krytycznej. W testach z modelem Qwen3-32B w konfiguracji 1 prefill/1 decode na instancjach EC2 P5en z EFA, tryb push osiągnął nawet 3-krotnie lepszy czas do pierwszego tokenu (TTFT) i nawet o 30% lepszy czas generowania pojedynczego tokenu (TPOT) niż domyślny tryb pull, zwłaszcza przy dużym obciążeniu zapytaniami.
Anam, firma tworząca fotorealistyczne interaktywne awatary, przeszła na model mowy-na-tekst (STT) Flux od Deepgram, aby rozwiązać problemy z naturalnym przechodzeniem tury wypowiedzi w nieoskryptowanych rozmowach w czasie rzeczywistym. W testach A/B wobec samodzielnie hostowanego rozwiązania open-source Flux zredukował niechciane przerwania awatara o ok. 50%, bez wzrostu opóźnienia, a skargi dotyczące płynności rozmów w sesjach anglojęzycznych spadły niemal do zera. Anam wdrożyło Flux samodzielnie na własnej infrastrukturze Kubernetes/H100, obejmując nim 100% użytkowników 'turnkey' po dwóch tygodniach wdrożenia własnego (w porównaniu z kilkoma dniami dla wersji hostowanej przez Deepgram).
AWS przedstawił trzy optymalizacje na poziomie kerneli dla obsługi modeli Mixture-of-Experts (MoE) na GPU Hopper, opracowane we współpracy ze społecznością vLLM i wdrożone w kontenerze LMI Amazon SageMaker AI. Zmiany eliminują nieefektywność obliczeń fused MoE podczas fazy dekodowania z małymi partiami, gdzie wcześniej rdzenie Tensor Core były niedostatecznie wykorzystywane. Łącznie optymalizacje dają do 10% wyższą przepustowość i do 9% szybszy czas do pierwszego tokena (TTFT).
Google wydał ML Drift, otwartoźródłowy, wieloplatformowy silnik obliczeniowy GPU do wnioskowania ML na urządzeniu, zastępujący dotychczasowy TFLite GPU delegate. Ujednolica obsługę shaderów między OpenGL ES, OpenCL, Metal i WebGPU, dodaje obsługę tensorów 5D oraz wprowadza optymalizacje etapowe dla faz prefill/decode w LLM. Jest już wdrożony produkcyjnie w Chrome, YouTube Shorts, Google Photos, Meet oraz aplikacjach partnerów Adobe i Snap.
AssemblyAI zaprezentowało Sync API — nowy sposób transkrypcji krótkich nagrań audio: jedno żądanie HTTP POST zwraca gotową transkrypcję Universal-3.5 Pro w tej samej odpowiedzi, przy medianie opóźnienia ok. 134ms. Wypełnia to lukę między Async API (wysyłka i odpytywanie, dodające 5-6 sekund opóźnienia) a Realtime API (WebSocket, przeznaczone do ciągłych sesji), odpowiadając na potrzeby takie jak dyktowanie, transkrypcja tur rozmowy w agentach głosowych, IVR i push-to-talk. Obsługiwane są nagrania od 80ms do 2 minut, do 40MB, z poziomem błędów 1,59% dla krótkich nagrań. Cena wynosi 0,45 USD/godz., tyle samo co Universal-3.5 Pro Realtime.
AssemblyAI uruchomił hostowane wdrożenie open-source'owego modelu Qwen3.5 4B w swoim LLM Gateway, zoptymalizowane specjalnie do przepisywania surowej wyjściowej transkrypcji mowy na tekst na czysty, sformatowany tekst. W zadaniach przepisywania głosowego, takich jak czyszczenie dyktowania i formatowanie transkrypcji, model osiągał średni czas odpowiedzi 612ms — 1,9x szybciej niż GPT-4.1 — przy 94% niższym koszcie na godzinę przetworzonego audio. Cena modelu to $0.10/$0.50 za milion tokenów (prompt/odpowiedź), wspierane są tylko parametry max_tokens, temperature i stream, bez wywoływania narzędzi.