IBM Research wydał vLLM-Hook MIA, plugin dla open-source'owego silnika wnioskowania vLLM, który pozwala deweloperom obserwować i ingerować w wewnętrzne stany modelu w czasie działania — np. odrzucać złośliwe prompty, oznaczać zmyślone fakty czy korygować ton odpowiedzi — bez wyłączania szybkiego trybu wykonywania opartego na powtarzaniu grafu w vLLM. Według raportu technicznego IBM, MIA jest nawet 20 razy szybszy niż poprzedni vLLM-Hook i nawet 14 razy szybszy niż metody wstawiające kod bezpośrednio do modelu. W testach sterowanie modelem 8B Llama lub 1,5B Qwen dodawało tylko około 2% opóźnienia, a model 70B Llama - około 6%.
Google Cloud i NVIDIA ogłosiły ogólną dostępność instancji A5X opartych na GPU NVIDIA Vera Rubin NVL72, kartach ConnectX-9 SuperNIC oraz sieci Google Virgo, przeznaczonych do zadań agentowych i uczenia ze wzmocnieniem na dużą skalę. Google Cloud planuje rozbudować infrastrukturę Vera Rubin do nawet 960 000 GPU Rubin w wielu lokalizacjach, z ogólną dostępnością w przyszłym miesiącu i planowaną ekspansją do Europy. Pierwszym klientem jest londyńska firma Ineffable Intelligence, założona przez twórcę AlphaGo Davida Silvera, wykorzystująca platformę do budowy systemów „superlearner”.
NVIDIA dodała trzy nowe, otwarte i komercyjnie licencjonowane komponenty do linii Nemotron Retriever: modele Embed (8B i 1B, w wersjach BF16 i NVFP4) do przeszukiwania tekstu i obrazów, model Rerank (8B), który porządkuje pobrane dowody według trafności, oraz kompaktowy model Parse o 631M parametrów, który zamienia obrazy dokumentów na ustrukturyzowany tekst. Celem jest dostarczenie agentom AI lepszych, bardziej trafnych dowodów, dzięki czemu potrzebują mniej rund wyszukiwania i mniej tokenów inferencji do udzielenia odpowiedzi. NVIDIA podaje, że nowe modele Embed i Rerank zajmują pierwsze miejsca w rankingach ViDoRe v3.1 odpowiednio dla wyszukiwania gęstego i rerankingu.
Firma badawcza AI i14 we współpracy z AWS przeniosła swój model Laplace 3B — 24-warstwową architekturę opartą na Gated Linear Attention (GLA) zamiast standardowego mechanizmu uwagi transformerów — na układy AWS Trainium2, wykorzystując natywny PyTorch (TorchNeuron Native). Zamiast rosnącego z każdym tokenem KV cache, model utrzymuje stały stan rekurencyjny o rozmiarze 29,5 MB na sekwencję. Na pojedynczej instancji trn2.48xlarge zespół osiągnął około 120 000 tokenów na sekundę podczas treningu i obsłużył 11 544 tokeny wyjściowe na sekundę przy 1 280 równoległych sekwencjach, korzystając z niezmodyfikowanego silnika vLLM.
NVIDIA wydała Cosmos3-H-Dreams, model fundamentowy świata (world foundation model), który generuje interaktywne sceny chirurgiczne w czasie rzeczywistym na podstawie kinematyki robota z rzeczywistych zabiegów cholecystektomii zarejestrowanych na platformie CMR Surgical Versius. Model zbudowany na bazie 16-miliardowego modelu Cosmos3-H-Embodied-Nano i przyspieszony biblioteką strumieniowego wnioskowania FlashDreams firmy NVIDIA działa na pojedynczym GPU RTX PRO 6000. System uczy się wizualnej dynamiki chirurgicznej bezpośrednio z danych wideo i kinematyki, zamiast jawnego modelowania fizyki, i oferuje destylowane punkty kontrolne czterokrokowe i dwukrokowe, pozwalające wybrać kompromis między jakością a szybkością.
Google ogłosił nowe silniki wnioskowania (inference) vLLM i SGLang, zbudowane bezpośrednio na PyTorch dla TPU, opracowane odpowiednio z Inferact i RadixArk. Silniki działają na nowej warstwie TorchTPU, która czyni TPU natywnym urządzeniem PyTorch, zastępując wcześniejsze podejście oparte na JAX. Google podaje publiczny wynik benchmarku na poziomie 2,01 centa za milion tokenów przy konfiguracjach o wysokiej współbieżności w ramach projektu SemiAnalysis InferenceX, a także wsparcie dla obciążeń agentowych, długiego kontekstu, rozproszonego serwowania i modeli multimodalnych.
Google Research ogłosił ukończenie ostatniego kamienia milowego otwartego standardu sprzętowego Coral NPU – 32-bitowej architektury RISC-V z nową jednostką Matrix Execution Unit (do 1 TOPS, ok. 10mW) oraz wydał kompilator open-source v1.0 oparty na IREE/MLIR, który przenosi modele z JAX, PyTorch i TensorFlow bezpośrednio na sprzęt. Synaptics wprowadza pierwsze komercyjne chipy oparte na tym standardzie, w tym serię mikrokontrolerów Astra SR200 (400 GOPS) oraz nowe zestawy deweloperskie Coralboard SR i SL, przy czym wersja SL jest już ogólnie dostępna przez DigiKey. Google współpracuje też z VeriSilicon i GlobalFoundries nad wdrożeniem otwartego RTL do produkcji chipów.
Red Hat, IBM i Google ogłosiły llm-d 1.0 — rozproszony system obsługi wnioskowania LLM natywny dla Kubernetes, który wykroczył poza demonstrowanie pojedynczych technik wydajnościowych i stał się gotowy do pełnej eksploatacji produkcyjnej. Wersja dodaje wielodostępową kontrolę jakości usług, operacje bez przestojów oraz obsługę świadomą agentów, dzięki czemu ten sam endpoint może efektywnie obsługiwać zarówno ludzi, jak i autonomiczne agenty. W jednym teście router świadomy prefiksów llm-d osiągnął 97% ponownego wykorzystania cache w obciążeniu agentowym związanym z kodowaniem, a IBM/Red Hat uruchomili 3000 jednoczesnych agentów inżynierii oprogramowania za 5-10 razy mniej niż koszt tego samego modelu jako usługi hostowanej.
AWS wprowadził strukturyzowane odpowiedzi dla wszystkich modeli Anthropic Claude dostępnych w Amazon Bedrock — zarówno w standardowym endpoincie runtime, jak i nowszym endpoincie Mantle przeznaczonym do zadań agentowych. Zamiast liczyć na to, że model zwróci poprawny JSON, deweloperzy mogą teraz wymusić dokładną zgodność odpowiedzi ze schematem dzięki ograniczonemu dekodowaniu, które blokuje generowanie tokenów łamiących format. Dodatkowa funkcja, strict tool use, zapewnia taką samą gwarancję dla parametrów wywołań narzędzi, dzięki czemu przepływy pracy agentów nie zawodzą przez błędnie sformatowane dane wejściowe.
AWS i Deepgram wspólnie przebudowały model rozpoznawania mowy Nova-3, aby działał natywnie na chipach Trainium2 zamiast standardowej infrastruktury PyTorch opartej na GPU, celując w duże zadania transkrypcji offline. Prace objęły przepisanie wąskich gardeł na własne kernele oraz zastąpienie warstwy serwującej Pythona środowiskiem uruchomieniowym w Rust, komunikującym się bezpośrednio z Trainium. Efekt: pojedyncza instancja trn2.3xlarge uruchamiająca osiem równoległych kopii modelu przetwarza 11-70% więcej dźwięku na dolara niż poprzednia infrastruktura Deepgram, a podobne oszczędności mogą być dostępne dla klientów samodzielnie hostujących rozwiązanie na SageMaker.
AWS udostępnił konektor NIXL typu „push” dla vLLM, zmieniający sposób przesyłania danych pamięci podręcznej klucz-wartość (KV) między instancjami prefill i decode w rozdzielonym serwowaniu LLM. Zamiast pobierania bloków KV przez instancję decode po zakończeniu prefill, instancja decode z wyprzedzeniem rejestruje docelową pamięć, a instancja prefill zapisuje dane KV bezpośrednio, gdy tylko są gotowe — usuwając koordynację ze ścieżki krytycznej. W testach z modelem Qwen3-32B w konfiguracji 1 prefill/1 decode na instancjach EC2 P5en z EFA, tryb push osiągnął nawet 3-krotnie lepszy czas do pierwszego tokenu (TTFT) i nawet o 30% lepszy czas generowania pojedynczego tokenu (TPOT) niż domyślny tryb pull, zwłaszcza przy dużym obciążeniu zapytaniami.
Microsoft i NVIDIA wydały wspólny dokument „Risk Management for Open-Weight Models in Enterprise” — pierwszy z planowanej serii, oferujący firmom wspólną taksonomię ryzyka i metodykę oceny modeli AI o otwartych wagach. Dokument argumentuje, że to, czy model ma otwarte czy zamknięte wagi, nie jest kluczowym czynnikiem ryzyka — liczy się przypadek użycia, architektura wdrożenia i otaczające zabezpieczenia. Ryzyka podzielono na pięć kategorii (cyberbezpieczeństwo, ochrona danych, treść, interakcja człowiek-AI, stronniczość) i powiązano z ocenami zgodnymi ze standardami ISO oraz ramami NIST AI Risk Management Framework.
Nowe amerykańskie laboratorium AI, Reflection, zaprezentowało swój pierwszy model Beam – otwarty model typu mixture-of-experts (MoE) z 501B parametrów łącznie (23B aktywnych na token) i oknem kontekstowym 1M tokenów, wydany na licencji Apache 2.0. Model jest przeznaczony do zadań programistycznych i agentowych, jest dostarczany z dedykowanym środowiskiem uruchomieniowym opartym na Rust i ma wsparcie od dnia premiery w bibliotekach transformers, vLLM i SGLang. Reflection publikuje mocne wyniki w testach programistycznych, rozumowania i wywoływania narzędzi w wersjach BF16, FP8 i NVFP4.
IBM wydało Granite Switch 4.1 w wersjach 8B i 30B – modularny system, który obsługuje rozmowę, podejmowanie decyzji i transkrypcję mowy z jednego hostowanego endpointu zamiast z osobnych modeli. Aktualizacja dodaje ogólny adapter decyzyjny, wyspecjalizowany adapter Guardian do klasyfikacji związanych z bezpieczeństwem oraz wbudowany model ASR Granite-Speech-5.0-Turbo-CTC, który zajmuje pierwsze miejsce w rankingu OpenASR. Mimo połączenia trzech funkcji, zintegrowany model zużywa mniej więcej tyle samo VRAM co sam model bazowy.
Zespół MLX firmy Apple opublikował testy wydajności pokazujące, że duże modele open-weight — w tym model MoE o niemal bilionie parametrów o nazwie Muse Spark Open — działają na sprzęcie Mac Studio, zarówno na pojedynczej maszynie, jak i rozproszone na do czterech Mac Studio dzięki nowemu sterownikowi RDMA over Thunderbolt. Nowy chip M5 Ultra, z dedykowanymi GPU Neural Accelerators i przepustowością pamięci 1,2 TB/s, osiąga do 4,6 razy szybszy czas do pierwszego tokena i 1,6 razy szybszą generację w porównaniu z poprzednim M3 Ultra. Dla modeli zbyt dużych, by zmieścić się na jednej maszynie, MLX obsługuje teraz równoległość potokową i tensorową na wielu Makach połączonych przez Thunderbolt RDMA, pozwalając klastrowi czterech Mac Studio generować ponad 36 tokenów na sekundę dla modelu o 816 mld parametrów.
Mistral AI wypuścił Timestral, swoją pierwszą rodzinę modeli podstawowych do prognozowania szeregów czasowych, dostępną w czterech rozmiarach od 5 mln do 209 mln parametrów. Największy model zajmuje pierwsze miejsce we wszystkich trzech głównych publicznych benchmarkach prognozowania (GIFT-Eval, TIME, fev-bench), wyprzedzając wcześniejsze modele o większej liczbie parametrów. Modele generują probabilistyczne, wielowymiarowe prognozy, obsługują zmienne historyczne i znane zmienne przyszłe oraz działają wydajnie na CPU bez potrzeby GPU.
Cohere zbudowało kontrolowane środowisko testowe, aby zbadać, jak powinny być organizowane zespoły agentów kodujących — testując, gdzie deleguje się pracę, jak agent wiodący czeka na pracowników, jakie modele pełnią jakie role, wielkość zespołu i wzorce komunikacji. W teście ProgramBench dobrze zorganizowane zespoły przewyższyły pojedyncze agenty nawet o ~10 punktów procentowych, ale kosztowały 3–7 razy więcej. Kluczowy wniosek: delegowanie pracownikom wyłącznie eksploracji i planowania dało taki sam wynik jak delegowanie wszystkich etapów (implementacji i weryfikacji) za połowę kosztu, a silny agent wiodący z 16 tanimi pracownikami planowania osiągnął wynik 61,8% wobec 63,2% dla zespołu złożonego z samych silnych modeli, obniżając koszt z 510 do 155 dolarów.
Tamnoon zbudował Tami — agentowy orkiestrator na Amazon Bedrock, który bada ustalenia dotyczące bezpieczeństwa chmury pochodzące z CNAPP i dostawców chmury, ocenia bezpieczeństwo naprawy i generuje poprawki z mechanizmami kontrolnymi. Firma zgłasza ponad 90% redukcję krytycznych ekspozycji w chmurze w ciągu 90 dni, bez żadnych problemów produkcyjnych. System wykorzystuje czterech wyspecjalizowanych agentów (dochodzeniowego, oceny bezpieczeństwa, naprawy, generowania kodu), z których każdy wywołuje różne modele podstawowe przez Bedrock, a Bedrock Guardrails i wnioskowanie między regionami zapewniają bezpieczeństwo i skalę.
GitHub zastąpił swój oparty na LLM system wykrywania ogólnych sekretów (haseł, kluczy API) dostrojonym klasyfikatorem ModernBERT połączonym z generowaniem kandydatów przez regex. Nowy dwuetapowy system poprawił dokładność wykrywania, jednocześnie drastycznie skracając czas skanowania i obniżając koszty obsługi, a jest teraz wystarczająco szybki, by działać w ramach ochrony przed push (push protection), a nie tylko po commitowaniu kodu.
Liquid AI opublikowało LFM2.5-24B-A2B, model typu mixture-of-experts z 24B parametrów łącznie, ale tylko 2B aktywnych na token, zaprojektowany do uruchamiania agentów rozumujących na lokalnym sprzęcie. Wersja ta rozszerza okno kontekstu do 131K tokenów, podwaja rozmiar słownika i została wytrenowana na mniej więcej dwukrotnie większej ilości danych wstępnych niż poprzednik. W testach agentowych i wywołań narzędzi model dorównuje lub przewyższa modele mające około 50% więcej parametrów, oferując przy tym szybkie wnioskowanie zarówno na sprzęcie konsumenckim, jak i w centrach danych.
AWS przedstawił trzy optymalizacje na poziomie kerneli dla obsługi modeli Mixture-of-Experts (MoE) na GPU Hopper, opracowane we współpracy ze społecznością vLLM i wdrożone w kontenerze LMI Amazon SageMaker AI. Zmiany eliminują nieefektywność obliczeń fused MoE podczas fazy dekodowania z małymi partiami, gdzie wcześniej rdzenie Tensor Core były niedostatecznie wykorzystywane. Łącznie optymalizacje dają do 10% wyższą przepustowość i do 9% szybszy czas do pierwszego tokena (TTFT).
NVIDIA ogłosiła, że cała platforma Run:ai jest teraz open source i staje się fundamentem NVIDIA DSX AI Factory Platform do orkiestracji obciążeń AI i GPU na Kubernetes. Wydanie obejmuje cztery modułowe komponenty — KAI Scheduler, GPU Fractioning Operator, KAI Resource Management i Workload Map — które można wdrażać razem lub niezależnie. Osiem partnerów ekosystemu, w tym Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud i vCluster, integruje platformę ze swoimi usługami.
IBM Research wykorzystało skoordynowaną „fabrykę agentów” wieloagentowych do eksploracji optymalizacji sprzętowych dekodera korekcji błędów kwantowych, porównując modele własnościowe i otwarte modele wiodące przy tym samym budżecie 100 hipotez. Konfiguracja z otwartym modelem, uruchomiona lokalnie przez framework rozproszonego wnioskowania IBM llm-d, osiągnęła 52-krotne przyspieszenie względem bazowego projektu za około 26 USD kosztów wnioskowania, w porównaniu do 299 USD dla konfiguracji z modelem własnościowym, która osiągnęła wyższe, 204-krotne przyspieszenie. Badanie pokazuje, że routing uwzględniający pamięć podręczną i efektywne serwowanie (98% trafień w cache prefiksów, ~0,11 USD za milion tokenów) sprawiły, że podejście z otwartymi modelami było znacznie tańsze, przy wciąż znajdowaniu poprawnych, kompaktowych projektów sprzętowych.
Nowy artykuł badawczy Apple przedstawia Minions – system łączący niewykorzystaną moc GPU w komputerach Mac z chipami Apple Silicon w jedną rozproszoną chmurę do uruchamiania wnioskowania modeli uczenia maszynowego. Zamiast kupować dodatkowy sprzęt GPU, zespoły mogłyby wykorzystać wolną moc obliczeniową już posiadanych urządzeń z macOS. Autorzy twierdzą, że system zapewnia planowanie zadań, odporność na awarie i efektywne wykorzystanie zasobów, oferując alternatywę, gdy dedykowanych zasobów GPU brakuje lub są drogie.