Firma NVIDIA opublikowała strategię optymalizacji wnioskowania MoE, przetestowaną na modelu Ling-3.0-flash o 124 miliardach parametrów. Dzięki zastosowaniu specjalistycznych jąder Humming, precyzji FP8 dla LM head oraz predykcji wielu tokenów (MTP), można uzyskać wzrost przepustowości o 42,5% oraz redukcję opóźnień o 24,5%.
Firma Google zaktualizowała protokół generatywnego UI (A2UI), wprowadzając wymienne formaty wnioskowania (inference), aby rozwiązać problemy z opóźnieniami i niezawodnością występujące w poprzednim podejściu Direct JSON. Nowy format, A2UI Express, redukuje zużycie tokenów nawet 3-krotnie i opóźnienia nawet 3-krotnie, wykorzystując zwięzłą składnię w stylu Pythona.
Google wprowadziło Gemini Robotics Embodied Reasoning 2 (ER 2) w publicznej wersji zapoznawczej na platformie Gemini. Model ten pełni rolę zaawansowanej warstwy poznawczej dla robotyki, zdolnej do planowania, autokorekty zadań oraz zarządzania systemami wielorobotowymi za pomocą instrukcji w języku naturalnym.
Naukowcy przedstawili Boa Compressor, narzędzie typu online wykorzystujące model przestrzeni stanów Mamba do kompresji długiego kontekstu do krótszych reprezentacji w czasie liniowym. Dzięki destylacji wiedzy z pełnych interakcji LLM, metoda ta pozwala na wydajne wnioskowanie przy każdym zapytaniu, eliminując ogromne narzuty opóźnień typowe dla kompresji opartej na Transformerach.
Google wprowadziło Gemini Omni, nowy model do generowania wideo, zdolny do tworzenia i edytowania klipów na podstawie wskazówek tekstowych i obrazów. Model ten stał się domyślnym rozwiązaniem dla procesów wideo w Google, a poprzedni model Veo został wycofany z API.
OpenAI oficjalnie udostępniło GPT-6.1 Terra, nowy model zaprojektowany specjalnie pod kątem rozumowania wizualnego, precyzyjnej obsługi komputera oraz generowania naturalnego tekstu.
Amazon Bedrock obsługuje teraz jawne i niejawne buforowanie promptów dla modeli OpenAI, umożliwiając przechowywanie i ponowne wykorzystywanie statycznych prefiksów, takich jak narzędzia, instrukcje i historia konwersacji. Unikając ponownego przetwarzania identycznych tokenów w każdej turze, można znacząco obniżyć koszty wejściowe i zwiększyć responsywność złożonych procesów agentowych.
IBM zaktualizowało swój ekosystem oprogramowania, traktując akcelerator danych Spyre jako pierwszorzędny backend PyTorch. Dzięki wykorzystaniu TorchDynamo i TorchInductor, programiści mogą teraz uruchamiać modele na systemach IBM Z, LinuxONE i Power przy użyciu standardowych przepływów pracy PyTorch i wtyczek vLLM.
Z.ai GLM 5.3 Flash – multimodalny model Mixture-of-Experts z 320B parametrów i 18B aktywnych – jest teraz dostępny na platformie Mistral. Posiada okno kontekstu wielkości 1M tokenów i został zaprojektowany do pracy agentów deweloperskich, kodowania wizualnego oraz złożonych zadań z użyciem narzędzi. Ceny: 0,15 USD za milion tokenów wejściowych, 0,03 USD za milion tokenów z cache, 0,50 USD za milion tokenów wyjściowych.
Cohere wypuściło najnowszą generację modeli do rerankingu dla firm, Rerank 5, w wersjach Pro i Fast. Rerank 5 Pro przoduje w głównych publicznych benchmarkach, w tym BRIGHT, ViDoRe V3, BEIR i nanoMTEB, a Rerank 5 Fast oferuje niemal tak samo wysoką jakość przy niższym koszcie i wyższej przepustowości. Nowością jest funkcja Context Focus, która zwraca najbardziej istotne fragmenty tekstu w dokumentach zamiast całych dokumentów, oraz skalibrowane wyniki trafności, które działają jak prawdopodobieństwa w różnych modelach i domenach.
NVIDIA dodała trzy nowe, otwarte i komercyjnie licencjonowane komponenty do linii Nemotron Retriever: modele Embed (8B i 1B, w wersjach BF16 i NVFP4) do przeszukiwania tekstu i obrazów, model Rerank (8B), który porządkuje pobrane dowody według trafności, oraz kompaktowy model Parse o 631M parametrów, który zamienia obrazy dokumentów na ustrukturyzowany tekst. Celem jest dostarczenie agentom AI lepszych, bardziej trafnych dowodów, dzięki czemu potrzebują mniej rund wyszukiwania i mniej tokenów inferencji do udzielenia odpowiedzi. NVIDIA podaje, że nowe modele Embed i Rerank zajmują pierwsze miejsca w rankingach ViDoRe v3.1 odpowiednio dla wyszukiwania gęstego i rerankingu.
Firma badawcza AI i14 we współpracy z AWS przeniosła swój model Laplace 3B — 24-warstwową architekturę opartą na Gated Linear Attention (GLA) zamiast standardowego mechanizmu uwagi transformerów — na układy AWS Trainium2, wykorzystując natywny PyTorch (TorchNeuron Native). Zamiast rosnącego z każdym tokenem KV cache, model utrzymuje stały stan rekurencyjny o rozmiarze 29,5 MB na sekwencję. Na pojedynczej instancji trn2.48xlarge zespół osiągnął około 120 000 tokenów na sekundę podczas treningu i obsłużył 11 544 tokeny wyjściowe na sekundę przy 1 280 równoległych sekwencjach, korzystając z niezmodyfikowanego silnika vLLM.