Przejdź do treści
czwartek, 19 listopada 2026
Tenesys AI News
Subskrypcja

Badania AI

Prace naukowe, benchmarki, architektury, rozumowanie i metody trenowania.

“LLM” — 28 artykułów ✕

Badania· 🧪 Warte przetestowania

AWS udostępnia open source'owe optymalizacje kerneli MoE dla vLLM – mniejsze opóźnienia i wyższa przepustowość na H200

AWS przedstawił trzy optymalizacje na poziomie kerneli dla obsługi modeli Mixture-of-Experts (MoE) na GPU Hopper, opracowane we współpracy ze społecznością vLLM i wdrożone w kontenerze LMI Amazon SageMaker AI. Zmiany eliminują nieefektywność obliczeń fused MoE podczas fazy dekodowania z małymi partiami, gdzie wcześniej rdzenie Tensor Core były niedostatecznie wykorzystywane. Łącznie optymalizacje dają do 10% wyższą przepustowość i do 9% szybszy czas do pierwszego tokena (TTFT).

AWS Machine Learning
Badania· Ważne

IBM pokazuje, że agenci AI oparte na otwartych modelach mogą obniżyć koszty projektowania chipów ponad 11-krotnie

IBM Research wykorzystało skoordynowaną „fabrykę agentów” wieloagentowych do eksploracji optymalizacji sprzętowych dekodera korekcji błędów kwantowych, porównując modele własnościowe i otwarte modele wiodące przy tym samym budżecie 100 hipotez. Konfiguracja z otwartym modelem, uruchomiona lokalnie przez framework rozproszonego wnioskowania IBM llm-d, osiągnęła 52-krotne przyspieszenie względem bazowego projektu za około 26 USD kosztów wnioskowania, w porównaniu do 299 USD dla konfiguracji z modelem własnościowym, która osiągnęła wyższe, 204-krotne przyspieszenie. Badanie pokazuje, że routing uwzględniający pamięć podręczną i efektywne serwowanie (98% trafień w cache prefiksów, ~0,11 USD za milion tokenów) sprawiły, że podejście z otwartymi modelami było znacznie tańsze, przy wciąż znajdowaniu poprawnych, kompaktowych projektów sprzętowych.

IBM Research
Badania· Ważne· 🧪 Warte przetestowania

„Priming” od Amazon zamienia wstępnie wytrenowane modele Transformer w wydajne hybrydy za mniej niż 1% kosztu treningu

Badacze z Amazon Web Services opublikowali metodę „priming”, która przekształca wstępnie wytrenowane modele Transformer w architektury hybrydowe łączące warstwy uwagi (attention) i modeli przestrzeni stanów (SSM), wykorzystując istniejące wagi zamiast treningu od zera. Podejście obniża koszty wstępnego treningu o ponad 99% i pozwala 32-miliardowemu modelowi hybrydowemu dorównać jakością źródłowemu modelowi Transformer, dekodując nawet dwukrotnie szybciej. Amazon przetestował trzy typy SSM i udostępnił otwartoźródłowy zestaw modeli, kod treningowy oraz narzędzia na licencji Apache 2.0.

Amazon Science

NVIDIA i Princeton eliminują wąskie gardła dekodowania w hybrydowych modelach SSM

NVIDIA wraz z Dao AI Lab z Princeton opracowały ReplaySSM — nowy sposób przechowywania stanu w modelach hybrydowych, które łączą warstwy state-space (SSM) z warstwami uwagi (attention). Zamiast przepisywać cały stan w każdym kroku, metoda utrzymuje okresowy punkt kontrolny (checkpoint) oraz krótką listę ostatnich wejść, oddzielając obliczanie wyniku od aktualizacji pamięci. Efektem jest niemal dwukrotnie mniejszy ruch pamięci, przyspieszenie jąder dekodowania nawet 1,80-krotnie przy dużych partiach oraz ponad dwukrotny wzrost przepustowości dekodowania spekulacyjnego w modelach klasy 120B, przy zachowaniu dokładności zbliżonej do pełnej precyzji. Metoda jest już zintegrowana z TensorRT-LLM, vLLM i FlashInfer oraz działa produkcyjnie w GLM-5.3-Flash i Kimi-K3.

NVIDIA Developer