AWS udostępnił konektor NIXL typu „push” dla vLLM, zmieniający sposób przesyłania danych pamięci podręcznej klucz-wartość (KV) między instancjami prefill i decode w rozdzielonym serwowaniu LLM. Zamiast pobierania bloków KV przez instancję decode po zakończeniu prefill, instancja decode z wyprzedzeniem rejestruje docelową pamięć, a instancja prefill zapisuje dane KV bezpośrednio, gdy tylko są gotowe — usuwając koordynację ze ścieżki krytycznej. W testach z modelem Qwen3-32B w konfiguracji 1 prefill/1 decode na instancjach EC2 P5en z EFA, tryb push osiągnął nawet 3-krotnie lepszy czas do pierwszego tokenu (TTFT) i nawet o 30% lepszy czas generowania pojedynczego tokenu (TPOT) niż domyślny tryb pull, zwłaszcza przy dużym obciążeniu zapytaniami.
Nowe amerykańskie laboratorium AI, Reflection, zaprezentowało swój pierwszy model Beam – otwarty model typu mixture-of-experts (MoE) z 501B parametrów łącznie (23B aktywnych na token) i oknem kontekstowym 1M tokenów, wydany na licencji Apache 2.0. Model jest przeznaczony do zadań programistycznych i agentowych, jest dostarczany z dedykowanym środowiskiem uruchomieniowym opartym na Rust i ma wsparcie od dnia premiery w bibliotekach transformers, vLLM i SGLang. Reflection publikuje mocne wyniki w testach programistycznych, rozumowania i wywoływania narzędzi w wersjach BF16, FP8 i NVFP4.
IBM wydało Granite Switch 4.1 w wersjach 8B i 30B – modularny system, który obsługuje rozmowę, podejmowanie decyzji i transkrypcję mowy z jednego hostowanego endpointu zamiast z osobnych modeli. Aktualizacja dodaje ogólny adapter decyzyjny, wyspecjalizowany adapter Guardian do klasyfikacji związanych z bezpieczeństwem oraz wbudowany model ASR Granite-Speech-5.0-Turbo-CTC, który zajmuje pierwsze miejsce w rankingu OpenASR. Mimo połączenia trzech funkcji, zintegrowany model zużywa mniej więcej tyle samo VRAM co sam model bazowy.
Mistral AI wypuścił Timestral, swoją pierwszą rodzinę modeli podstawowych do prognozowania szeregów czasowych, dostępną w czterech rozmiarach od 5 mln do 209 mln parametrów. Największy model zajmuje pierwsze miejsce we wszystkich trzech głównych publicznych benchmarkach prognozowania (GIFT-Eval, TIME, fev-bench), wyprzedzając wcześniejsze modele o większej liczbie parametrów. Modele generują probabilistyczne, wielowymiarowe prognozy, obsługują zmienne historyczne i znane zmienne przyszłe oraz działają wydajnie na CPU bez potrzeby GPU.
Cohere zbudowało kontrolowane środowisko testowe, aby zbadać, jak powinny być organizowane zespoły agentów kodujących — testując, gdzie deleguje się pracę, jak agent wiodący czeka na pracowników, jakie modele pełnią jakie role, wielkość zespołu i wzorce komunikacji. W teście ProgramBench dobrze zorganizowane zespoły przewyższyły pojedyncze agenty nawet o ~10 punktów procentowych, ale kosztowały 3–7 razy więcej. Kluczowy wniosek: delegowanie pracownikom wyłącznie eksploracji i planowania dało taki sam wynik jak delegowanie wszystkich etapów (implementacji i weryfikacji) za połowę kosztu, a silny agent wiodący z 16 tanimi pracownikami planowania osiągnął wynik 61,8% wobec 63,2% dla zespołu złożonego z samych silnych modeli, obniżając koszt z 510 do 155 dolarów.
Tamnoon zbudował Tami — agentowy orkiestrator na Amazon Bedrock, który bada ustalenia dotyczące bezpieczeństwa chmury pochodzące z CNAPP i dostawców chmury, ocenia bezpieczeństwo naprawy i generuje poprawki z mechanizmami kontrolnymi. Firma zgłasza ponad 90% redukcję krytycznych ekspozycji w chmurze w ciągu 90 dni, bez żadnych problemów produkcyjnych. System wykorzystuje czterech wyspecjalizowanych agentów (dochodzeniowego, oceny bezpieczeństwa, naprawy, generowania kodu), z których każdy wywołuje różne modele podstawowe przez Bedrock, a Bedrock Guardrails i wnioskowanie między regionami zapewniają bezpieczeństwo i skalę.
GitHub zastąpił swój oparty na LLM system wykrywania ogólnych sekretów (haseł, kluczy API) dostrojonym klasyfikatorem ModernBERT połączonym z generowaniem kandydatów przez regex. Nowy dwuetapowy system poprawił dokładność wykrywania, jednocześnie drastycznie skracając czas skanowania i obniżając koszty obsługi, a jest teraz wystarczająco szybki, by działać w ramach ochrony przed push (push protection), a nie tylko po commitowaniu kodu.
Liquid AI opublikowało LFM2.5-24B-A2B, model typu mixture-of-experts z 24B parametrów łącznie, ale tylko 2B aktywnych na token, zaprojektowany do uruchamiania agentów rozumujących na lokalnym sprzęcie. Wersja ta rozszerza okno kontekstu do 131K tokenów, podwaja rozmiar słownika i została wytrenowana na mniej więcej dwukrotnie większej ilości danych wstępnych niż poprzednik. W testach agentowych i wywołań narzędzi model dorównuje lub przewyższa modele mające około 50% więcej parametrów, oferując przy tym szybkie wnioskowanie zarówno na sprzęcie konsumenckim, jak i w centrach danych.
NVIDIA ogłosiła, że cała platforma Run:ai jest teraz open source i staje się fundamentem NVIDIA DSX AI Factory Platform do orkiestracji obciążeń AI i GPU na Kubernetes. Wydanie obejmuje cztery modułowe komponenty — KAI Scheduler, GPU Fractioning Operator, KAI Resource Management i Workload Map — które można wdrażać razem lub niezależnie. Osiem partnerów ekosystemu, w tym Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud i vCluster, integruje platformę ze swoimi usługami.
IBM Research wykorzystało skoordynowaną „fabrykę agentów” wieloagentowych do eksploracji optymalizacji sprzętowych dekodera korekcji błędów kwantowych, porównując modele własnościowe i otwarte modele wiodące przy tym samym budżecie 100 hipotez. Konfiguracja z otwartym modelem, uruchomiona lokalnie przez framework rozproszonego wnioskowania IBM llm-d, osiągnęła 52-krotne przyspieszenie względem bazowego projektu za około 26 USD kosztów wnioskowania, w porównaniu do 299 USD dla konfiguracji z modelem własnościowym, która osiągnęła wyższe, 204-krotne przyspieszenie. Badanie pokazuje, że routing uwzględniający pamięć podręczną i efektywne serwowanie (98% trafień w cache prefiksów, ~0,11 USD za milion tokenów) sprawiły, że podejście z otwartymi modelami było znacznie tańsze, przy wciąż znajdowaniu poprawnych, kompaktowych projektów sprzętowych.
Badacze z Amazon Web Services opublikowali metodę „priming”, która przekształca wstępnie wytrenowane modele Transformer w architektury hybrydowe łączące warstwy uwagi (attention) i modeli przestrzeni stanów (SSM), wykorzystując istniejące wagi zamiast treningu od zera. Podejście obniża koszty wstępnego treningu o ponad 99% i pozwala 32-miliardowemu modelowi hybrydowemu dorównać jakością źródłowemu modelowi Transformer, dekodując nawet dwukrotnie szybciej. Amazon przetestował trzy typy SSM i udostępnił otwartoźródłowy zestaw modeli, kod treningowy oraz narzędzia na licencji Apache 2.0.
AWS opublikowało wraz z Postman techniczny opis tego, jak powstał Agent Mode – natywny dla AI interfejs Postman do testowania API i dokumentacji, działający produkcyjnie na dużą skalę. Zespół odkrył, że największą przeszkodą nie była jakość modelu, lecz nadmiar narzędzi i brak kontekstu. Wpis opisuje wzorce architektoniczne: dynamiczny dobór narzędzi, dostęp oparty na schematach, dedykowane moduły kontekstu oraz możliwości Amazon Bedrock – elastyczność modeli, wnioskowanie między regionami, kontrolę rezydencji danych i prompt caching.
Google wydał ML Drift, otwartoźródłowy, wieloplatformowy silnik obliczeniowy GPU do wnioskowania ML na urządzeniu, zastępujący dotychczasowy TFLite GPU delegate. Ujednolica obsługę shaderów między OpenGL ES, OpenCL, Metal i WebGPU, dodaje obsługę tensorów 5D oraz wprowadza optymalizacje etapowe dla faz prefill/decode w LLM. Jest już wdrożony produkcyjnie w Chrome, YouTube Shorts, Google Photos, Meet oraz aplikacjach partnerów Adobe i Snap.
AWS opublikował studium przypadku dotyczące Amazon Bedrock AgentCore payments – zarządzanej funkcji pozwalającej agentom AI samodzielnie płacić za usługi, np. zapytania do modelu, pojedynczo, przy użyciu protokołu płatności x402. Firma Incarna wykorzystała tę funkcję, by jej agenci mogli płacić BlockRun, routerowi inferencji od wielu dostawców, za każde pojedyncze wywołanie modelu, rozliczając się w stablecoinie USDC w sieci Base. AWS twierdzi, że Incarna skróciła czas integracji z planowanych dwóch–trzech miesięcy do trzech dni i około 200 linii kodu. W fazie beta agenci przetworzyli ponad 1000 płatności w zakresie od 0,001 do 0,05 USD za wywołanie.
Cloudflare zbudował system agentów AI dla usługi bezpieczeństwa Managed Defense, aby poradzić sobie z zalewem alertów, który przytłacza analityków. Zamiast jednego uniwersalnego agenta analizującego wszystko, system oddziela deterministyczne zbieranie danych od wnioskowania opartego na modelu i uruchamia równolegle czterech wyspecjalizowanych agentów przed agentem syntezy łączącym ustalenia. Firma twierdzi, że zmniejsza to halucynacje i czyni dochodzenia audytowalnymi oraz odtwarzalnymi.
GLM 5.3 od Z.ai to model mixture-of-experts z 753 miliardami parametrów, zoptymalizowany pod kodowanie i długotrwałe zadania agentowe, dostępny teraz jako w pełni zarządzany model w Amazon Bedrock. Rozwija linię GLM 5 lepszymi wynikami benchmarków kodowania, wyróżniającymi się możliwościami cyberbezpieczeństwa (wynik CyberGym 84,5) oraz głębszą integracją z Bedrock, w tym API zgodnymi z OpenAI, buforowaniem promptów, wnioskowaniem między regionami i poziomami usług. AWS pokazuje też, jak użyć GLM 5.3 z open-source'owym agentem Strix do autoryzowanych testów penetracyjnych własnych aplikacji.