Google Research przedstawił badania nad osadzaniem agentów AI w fizycznej rzeczywistości laboratoryjnej za pomocą systemu cyfrowego bliźniaka o nazwie VERID, który pozwala agentom bezpiecznie planować i wykonywać protokoły robotów do obsługi cieczy. W połączeniu z zamkniętymi cyklami projektowania molekularnego dla aptamerów i białek, agenci uczyli się na podstawie wyników laboratoryjnych, poprawiając wskaźniki skuteczności w kolejnych rundach i ostatecznie odkrywając jednocyfrowe nanomolowe białka wiążące dla celu związanego z nowotworem.
NVIDIA we współpracy z laboratorium AI4Bharat z IIT Madras udostępnia Nemotron-pretraining-Indic-v1 – syntetyczny zbiór danych do pretreningu liczący około 2,8 biliona tokenów, obejmujący 22 języki indyjskie, wraz z otwartym pipeline'em przyspieszanym przez GPU, który posłużył do jego utworzenia. Zbiór zawiera dane w oryginalnym piśmie dla wszystkich 22 języków oraz tekst zromanizowany dla dwunastu z nich, stworzone przez tłumaczenie wyselekcjonowanych materiałów anglojęzycznych (tekst webowy, matematyka, kod, pytania-odpowiedzi) z użyciem NeMo Data Designer i weryfikowane za pomocą rubryki inspirowanej MQM. NVIDIA wykorzystała już podzbiór 10 miliardów tokenów indyjskich do kontynuowanego pretreningu Nemotron 3.5 Super VL, co przyniosło mierzalne poprawy w benchmarkach indyjskich.
Zespół MLX firmy Apple opublikował testy wydajności pokazujące, że duże modele open-weight — w tym model MoE o niemal bilionie parametrów o nazwie Muse Spark Open — działają na sprzęcie Mac Studio, zarówno na pojedynczej maszynie, jak i rozproszone na do czterech Mac Studio dzięki nowemu sterownikowi RDMA over Thunderbolt. Nowy chip M5 Ultra, z dedykowanymi GPU Neural Accelerators i przepustowością pamięci 1,2 TB/s, osiąga do 4,6 razy szybszy czas do pierwszego tokena i 1,6 razy szybszą generację w porównaniu z poprzednim M3 Ultra. Dla modeli zbyt dużych, by zmieścić się na jednej maszynie, MLX obsługuje teraz równoległość potokową i tensorową na wielu Makach połączonych przez Thunderbolt RDMA, pozwalając klastrowi czterech Mac Studio generować ponad 36 tokenów na sekundę dla modelu o 816 mld parametrów.
AWS przedstawił trzy optymalizacje na poziomie kerneli dla obsługi modeli Mixture-of-Experts (MoE) na GPU Hopper, opracowane we współpracy ze społecznością vLLM i wdrożone w kontenerze LMI Amazon SageMaker AI. Zmiany eliminują nieefektywność obliczeń fused MoE podczas fazy dekodowania z małymi partiami, gdzie wcześniej rdzenie Tensor Core były niedostatecznie wykorzystywane. Łącznie optymalizacje dają do 10% wyższą przepustowość i do 9% szybszy czas do pierwszego tokena (TTFT).
IBM Research wykorzystało skoordynowaną „fabrykę agentów” wieloagentowych do eksploracji optymalizacji sprzętowych dekodera korekcji błędów kwantowych, porównując modele własnościowe i otwarte modele wiodące przy tym samym budżecie 100 hipotez. Konfiguracja z otwartym modelem, uruchomiona lokalnie przez framework rozproszonego wnioskowania IBM llm-d, osiągnęła 52-krotne przyspieszenie względem bazowego projektu za około 26 USD kosztów wnioskowania, w porównaniu do 299 USD dla konfiguracji z modelem własnościowym, która osiągnęła wyższe, 204-krotne przyspieszenie. Badanie pokazuje, że routing uwzględniający pamięć podręczną i efektywne serwowanie (98% trafień w cache prefiksów, ~0,11 USD za milion tokenów) sprawiły, że podejście z otwartymi modelami było znacznie tańsze, przy wciąż znajdowaniu poprawnych, kompaktowych projektów sprzętowych.
Badacze z Amazon Web Services opublikowali metodę „priming”, która przekształca wstępnie wytrenowane modele Transformer w architektury hybrydowe łączące warstwy uwagi (attention) i modeli przestrzeni stanów (SSM), wykorzystując istniejące wagi zamiast treningu od zera. Podejście obniża koszty wstępnego treningu o ponad 99% i pozwala 32-miliardowemu modelowi hybrydowemu dorównać jakością źródłowemu modelowi Transformer, dekodując nawet dwukrotnie szybciej. Amazon przetestował trzy typy SSM i udostępnił otwartoźródłowy zestaw modeli, kod treningowy oraz narzędzia na licencji Apache 2.0.
NVIDIA wraz z Dao AI Lab z Princeton opracowały ReplaySSM — nowy sposób przechowywania stanu w modelach hybrydowych, które łączą warstwy state-space (SSM) z warstwami uwagi (attention). Zamiast przepisywać cały stan w każdym kroku, metoda utrzymuje okresowy punkt kontrolny (checkpoint) oraz krótką listę ostatnich wejść, oddzielając obliczanie wyniku od aktualizacji pamięci. Efektem jest niemal dwukrotnie mniejszy ruch pamięci, przyspieszenie jąder dekodowania nawet 1,80-krotnie przy dużych partiach oraz ponad dwukrotny wzrost przepustowości dekodowania spekulacyjnego w modelach klasy 120B, przy zachowaniu dokładności zbliżonej do pełnej precyzji. Metoda jest już zintegrowana z TensorRT-LLM, vLLM i FlashInfer oraz działa produkcyjnie w GLM-5.3-Flash i Kimi-K3.
Badacze Apple, wspólnie z Narodowym Uniwersytetem Singapuru, opublikowali pracę o RISED – nowej metodzie trenowania agentów LLM, które muszą jednocześnie uczyć się w wielu różnych środowiskach interaktywnych. Zamiast polegać wyłącznie na skalarnych sygnałach nagrody, RISED wykorzystuje sędziego LLM, który oznacza każdy przebieg treningowy rubrykami opisującymi zachowanie, a następnie wykorzystuje te oznaczenia do wyboru danych treningowych i dostarczenia dodatkowego nadzoru. Autorzy podają, że RISED osiąga najwyższy średni wskaźnik sukcesu we wszystkich środowiskach w porównaniu z istniejącymi metodami, zajmując pierwsze lub drugie miejsce w każdym testowanym środowisku.
GitHub opublikował ReviewBench, benchmark w fazie podglądu badawczego (research preview), który ma umożliwić porównywanie agentów AI do przeglądu kodu według wspólnego, weryfikowalnego standardu. Zbiór danych obejmuje 219 rzeczywistych publicznych pull requestów w 19 językach i 187 repozytoriach, dobranych tak, by odzwierciedlały rozkład języków i rozmiarów wśród 103,9 mln rzeczywistych pull requestów na GitHubie. Dane referencyjne (ground truth) pochodzą z połączenia recenzentów-ludzi, narzędzi do analizy statycznej oraz kilku czołowych modeli LLM, a ich oceny zweryfikowali starsi inżynierowie, których osądy zgadzały się z etykietami benchmarku w 96,6% przypadków. GitHub twierdzi, że już wykorzystał ReviewBench wewnętrznie do śledzenia własnego produktu Copilot code review (CCR), a zmiany wyników offline wiarygodnie przewidywały kierunek późniejszych testów A/B na produkcji.
Zespół inżynierski Google Cloud TPU współpracował z Ai2, aby od podstaw odtworzyć pre-trening Olmo 3 7B przy użyciu MaxText, frameworku treningowego JAX/XLA od Google, działającego na TPU zamiast oryginalnej konfiguracji PyTorch/GPU od Ai2. Dopasowali opublikowane wyniki Ai2 nie tylko w zakresie krzywej straty treningowej, ale na czterech niezależnych powierzchniach ewaluacyjnych typu held-out, obejmując cały run etapu 1 (~5,93 biliona tokenów, 1,41 miliona kroków) oraz fazę annealingu etapu 2. Po drodze przenieśli nietypową architekturę Olmo 3 (bloki z przestawioną normalizacją, QK-norm, stosunek uwagi sliding/global 3:1) do MaxText i wykryli błąd w ładowarce danych, który po cichu zawyżał pozorną wydajność poprzez zapamiętywanie, a nie rzeczywiste uczenie się.