Przejdź do treści
sobota, 24 października 2026
Tenesys AI News
Subskrypcja

Badania AI

Prace naukowe, benchmarki, architektury, rozumowanie i metody trenowania.

“Open Source” — 4 artykuły ✕

Badania· 🧪 Warte przetestowania

AWS udostępnia open source'owe optymalizacje kerneli MoE dla vLLM – mniejsze opóźnienia i wyższa przepustowość na H200

AWS przedstawił trzy optymalizacje na poziomie kerneli dla obsługi modeli Mixture-of-Experts (MoE) na GPU Hopper, opracowane we współpracy ze społecznością vLLM i wdrożone w kontenerze LMI Amazon SageMaker AI. Zmiany eliminują nieefektywność obliczeń fused MoE podczas fazy dekodowania z małymi partiami, gdzie wcześniej rdzenie Tensor Core były niedostatecznie wykorzystywane. Łącznie optymalizacje dają do 10% wyższą przepustowość i do 9% szybszy czas do pierwszego tokena (TTFT).

AWS Machine Learning
Badania· Ważne

IBM pokazuje, że agenci AI oparte na otwartych modelach mogą obniżyć koszty projektowania chipów ponad 11-krotnie

IBM Research wykorzystało skoordynowaną „fabrykę agentów” wieloagentowych do eksploracji optymalizacji sprzętowych dekodera korekcji błędów kwantowych, porównując modele własnościowe i otwarte modele wiodące przy tym samym budżecie 100 hipotez. Konfiguracja z otwartym modelem, uruchomiona lokalnie przez framework rozproszonego wnioskowania IBM llm-d, osiągnęła 52-krotne przyspieszenie względem bazowego projektu za około 26 USD kosztów wnioskowania, w porównaniu do 299 USD dla konfiguracji z modelem własnościowym, która osiągnęła wyższe, 204-krotne przyspieszenie. Badanie pokazuje, że routing uwzględniający pamięć podręczną i efektywne serwowanie (98% trafień w cache prefiksów, ~0,11 USD za milion tokenów) sprawiły, że podejście z otwartymi modelami było znacznie tańsze, przy wciąż znajdowaniu poprawnych, kompaktowych projektów sprzętowych.

IBM Research
Badania· Ważne· 🧪 Warte przetestowania

„Priming” od Amazon zamienia wstępnie wytrenowane modele Transformer w wydajne hybrydy za mniej niż 1% kosztu treningu

Badacze z Amazon Web Services opublikowali metodę „priming”, która przekształca wstępnie wytrenowane modele Transformer w architektury hybrydowe łączące warstwy uwagi (attention) i modeli przestrzeni stanów (SSM), wykorzystując istniejące wagi zamiast treningu od zera. Podejście obniża koszty wstępnego treningu o ponad 99% i pozwala 32-miliardowemu modelowi hybrydowemu dorównać jakością źródłowemu modelowi Transformer, dekodując nawet dwukrotnie szybciej. Amazon przetestował trzy typy SSM i udostępnił otwartoźródłowy zestaw modeli, kod treningowy oraz narzędzia na licencji Apache 2.0.

Amazon Science

NVIDIA otwiera architekturę stojaków Vera Rubin i promuje otwarte standardy dla centrów danych AI

Podczas OCP Global Summit NVIDIA przekazała projekty stojaków i tac obliczeniowych Vera Rubin do otwartej architektury MGX oraz ogłosiła szereg partnerstw dotyczących zasilania, chłodzenia i standardów sieciowych dla fabryk AI. Wśród partnerów są hiperskalowi gracze tacy jak Meta, Google, Microsoft i AMD, a także Cisco i Visionbay. Ogłoszenia obejmują specyfikacje stojaków (MGX 1.2), nowe oprogramowanie open source do zarządzania centrami danych AI (komponenty DSX OS), standardy odporności sieci energetycznej, architekturę zasilania 800V DC, nowe przełączanie Ethernet (Spectrum-6) oraz nowy standard modułów optycznych (USFP) wspólnie z Cisco.

NVIDIA