Przejdź do treści
czwartek, 19 listopada 2026
Tenesys AI News
Subskrypcja

Badania AI

Prace naukowe, benchmarki, architektury, rozumowanie i metody trenowania.

“LLM” — 34 artykuły ✕

Badania· Ważne

Google Research buduje agentów AI, którzy samodzielnie przeprowadzają eksperymenty laboratoryjne

Google Research przedstawił badania nad osadzaniem agentów AI w fizycznej rzeczywistości laboratoryjnej za pomocą systemu cyfrowego bliźniaka o nazwie VERID, który pozwala agentom bezpiecznie planować i wykonywać protokoły robotów do obsługi cieczy. W połączeniu z zamkniętymi cyklami projektowania molekularnego dla aptamerów i białek, agenci uczyli się na podstawie wyników laboratoryjnych, poprawiając wskaźniki skuteczności w kolejnych rundach i ostatecznie odkrywając jednocyfrowe nanomolowe białka wiążące dla celu związanego z nowotworem.

Google Research

NVIDIA i AI4Bharat udostępniają zbiór danych do pretreningu w językach indyjskich o rozmiarze 2,8 biliona tokenów oraz otwarty pipeline generowania danych

NVIDIA we współpracy z laboratorium AI4Bharat z IIT Madras udostępnia Nemotron-pretraining-Indic-v1 – syntetyczny zbiór danych do pretreningu liczący około 2,8 biliona tokenów, obejmujący 22 języki indyjskie, wraz z otwartym pipeline'em przyspieszanym przez GPU, który posłużył do jego utworzenia. Zbiór zawiera dane w oryginalnym piśmie dla wszystkich 22 języków oraz tekst zromanizowany dla dwunastu z nich, stworzone przez tłumaczenie wyselekcjonowanych materiałów anglojęzycznych (tekst webowy, matematyka, kod, pytania-odpowiedzi) z użyciem NeMo Data Designer i weryfikowane za pomocą rubryki inspirowanej MQM. NVIDIA wykorzystała już podzbiór 10 miliardów tokenów indyjskich do kontynuowanego pretreningu Nemotron 3.5 Super VL, co przyniosło mierzalne poprawy w benchmarkach indyjskich.

Hugging Face

Apple pokazuje modele klasy biliona parametrów działające lokalnie na klastrach Mac Studio z MLX

Zespół MLX firmy Apple opublikował testy wydajności pokazujące, że duże modele open-weight — w tym model MoE o niemal bilionie parametrów o nazwie Muse Spark Open — działają na sprzęcie Mac Studio, zarówno na pojedynczej maszynie, jak i rozproszone na do czterech Mac Studio dzięki nowemu sterownikowi RDMA over Thunderbolt. Nowy chip M5 Ultra, z dedykowanymi GPU Neural Accelerators i przepustowością pamięci 1,2 TB/s, osiąga do 4,6 razy szybszy czas do pierwszego tokena i 1,6 razy szybszą generację w porównaniu z poprzednim M3 Ultra. Dla modeli zbyt dużych, by zmieścić się na jednej maszynie, MLX obsługuje teraz równoległość potokową i tensorową na wielu Makach połączonych przez Thunderbolt RDMA, pozwalając klastrowi czterech Mac Studio generować ponad 36 tokenów na sekundę dla modelu o 816 mld parametrów.

Apple Machine Learning
Badania· 🧪 Warte przetestowania

AWS udostępnia open source'owe optymalizacje kerneli MoE dla vLLM – mniejsze opóźnienia i wyższa przepustowość na H200

AWS przedstawił trzy optymalizacje na poziomie kerneli dla obsługi modeli Mixture-of-Experts (MoE) na GPU Hopper, opracowane we współpracy ze społecznością vLLM i wdrożone w kontenerze LMI Amazon SageMaker AI. Zmiany eliminują nieefektywność obliczeń fused MoE podczas fazy dekodowania z małymi partiami, gdzie wcześniej rdzenie Tensor Core były niedostatecznie wykorzystywane. Łącznie optymalizacje dają do 10% wyższą przepustowość i do 9% szybszy czas do pierwszego tokena (TTFT).

AWS Machine Learning
Badania· Ważne

IBM pokazuje, że agenci AI oparte na otwartych modelach mogą obniżyć koszty projektowania chipów ponad 11-krotnie

IBM Research wykorzystało skoordynowaną „fabrykę agentów” wieloagentowych do eksploracji optymalizacji sprzętowych dekodera korekcji błędów kwantowych, porównując modele własnościowe i otwarte modele wiodące przy tym samym budżecie 100 hipotez. Konfiguracja z otwartym modelem, uruchomiona lokalnie przez framework rozproszonego wnioskowania IBM llm-d, osiągnęła 52-krotne przyspieszenie względem bazowego projektu za około 26 USD kosztów wnioskowania, w porównaniu do 299 USD dla konfiguracji z modelem własnościowym, która osiągnęła wyższe, 204-krotne przyspieszenie. Badanie pokazuje, że routing uwzględniający pamięć podręczną i efektywne serwowanie (98% trafień w cache prefiksów, ~0,11 USD za milion tokenów) sprawiły, że podejście z otwartymi modelami było znacznie tańsze, przy wciąż znajdowaniu poprawnych, kompaktowych projektów sprzętowych.

IBM Research
Badania· Ważne· 🧪 Warte przetestowania

„Priming” od Amazon zamienia wstępnie wytrenowane modele Transformer w wydajne hybrydy za mniej niż 1% kosztu treningu

Badacze z Amazon Web Services opublikowali metodę „priming”, która przekształca wstępnie wytrenowane modele Transformer w architektury hybrydowe łączące warstwy uwagi (attention) i modeli przestrzeni stanów (SSM), wykorzystując istniejące wagi zamiast treningu od zera. Podejście obniża koszty wstępnego treningu o ponad 99% i pozwala 32-miliardowemu modelowi hybrydowemu dorównać jakością źródłowemu modelowi Transformer, dekodując nawet dwukrotnie szybciej. Amazon przetestował trzy typy SSM i udostępnił otwartoźródłowy zestaw modeli, kod treningowy oraz narzędzia na licencji Apache 2.0.

Amazon Science

NVIDIA i Princeton eliminują wąskie gardła dekodowania w hybrydowych modelach SSM

NVIDIA wraz z Dao AI Lab z Princeton opracowały ReplaySSM — nowy sposób przechowywania stanu w modelach hybrydowych, które łączą warstwy state-space (SSM) z warstwami uwagi (attention). Zamiast przepisywać cały stan w każdym kroku, metoda utrzymuje okresowy punkt kontrolny (checkpoint) oraz krótką listę ostatnich wejść, oddzielając obliczanie wyniku od aktualizacji pamięci. Efektem jest niemal dwukrotnie mniejszy ruch pamięci, przyspieszenie jąder dekodowania nawet 1,80-krotnie przy dużych partiach oraz ponad dwukrotny wzrost przepustowości dekodowania spekulacyjnego w modelach klasy 120B, przy zachowaniu dokładności zbliżonej do pełnej precyzji. Metoda jest już zintegrowana z TensorRT-LLM, vLLM i FlashInfer oraz działa produkcyjnie w GLM-5.3-Flash i Kimi-K3.

NVIDIA Developer

Apple prezentuje metodę trenowania agentów w wielu środowiskach opartą na rubrykach

Badacze Apple, wspólnie z Narodowym Uniwersytetem Singapuru, opublikowali pracę o RISED – nowej metodzie trenowania agentów LLM, które muszą jednocześnie uczyć się w wielu różnych środowiskach interaktywnych. Zamiast polegać wyłącznie na skalarnych sygnałach nagrody, RISED wykorzystuje sędziego LLM, który oznacza każdy przebieg treningowy rubrykami opisującymi zachowanie, a następnie wykorzystuje te oznaczenia do wyboru danych treningowych i dostarczenia dodatkowego nadzoru. Autorzy podają, że RISED osiąga najwyższy średni wskaźnik sukcesu we wszystkich środowiskach w porównaniu z istniejącymi metodami, zajmując pierwsze lub drugie miejsce w każdym testowanym środowisku.

Apple Machine Learning
Badania· Ważne· 🧪 Warte przetestowania

GitHub udostępnia ReviewBench — wspólny standard oceny agentów AI do przeglądu kodu

GitHub opublikował ReviewBench, benchmark w fazie podglądu badawczego (research preview), który ma umożliwić porównywanie agentów AI do przeglądu kodu według wspólnego, weryfikowalnego standardu. Zbiór danych obejmuje 219 rzeczywistych publicznych pull requestów w 19 językach i 187 repozytoriach, dobranych tak, by odzwierciedlały rozkład języków i rozmiarów wśród 103,9 mln rzeczywistych pull requestów na GitHubie. Dane referencyjne (ground truth) pochodzą z połączenia recenzentów-ludzi, narzędzi do analizy statycznej oraz kilku czołowych modeli LLM, a ich oceny zweryfikowali starsi inżynierowie, których osądy zgadzały się z etykietami benchmarku w 96,6% przypadków. GitHub twierdzi, że już wykorzystał ReviewBench wewnętrznie do śledzenia własnego produktu Copilot code review (CCR), a zmiany wyników offline wiarygodnie przewidywały kierunek późniejszych testów A/B na produkcji.

GitHub

Zespół TPU Google odtwarza trening Olmo 3 7B od Ai2 w MaxText

Zespół inżynierski Google Cloud TPU współpracował z Ai2, aby od podstaw odtworzyć pre-trening Olmo 3 7B przy użyciu MaxText, frameworku treningowego JAX/XLA od Google, działającego na TPU zamiast oryginalnej konfiguracji PyTorch/GPU od Ai2. Dopasowali opublikowane wyniki Ai2 nie tylko w zakresie krzywej straty treningowej, ale na czterech niezależnych powierzchniach ewaluacyjnych typu held-out, obejmując cały run etapu 1 (~5,93 biliona tokenów, 1,41 miliona kroków) oraz fazę annealingu etapu 2. Po drodze przenieśli nietypową architekturę Olmo 3 (bloki z przestawioną normalizacją, QK-norm, stosunek uwagi sliding/global 3:1) do MaxText i wykryli błąd w ładowarce danych, który po cichu zawyżał pozorną wydajność poprzez zapamiętywanie, a nie rzeczywiste uczenie się.

Google Developers