IBM wydało Granite Switch 4.1 w wersjach 8B i 30B – modularny system, który obsługuje rozmowę, podejmowanie decyzji i transkrypcję mowy z jednego hostowanego endpointu zamiast z osobnych modeli. Aktualizacja dodaje ogólny adapter decyzyjny, wyspecjalizowany adapter Guardian do klasyfikacji związanych z bezpieczeństwem oraz wbudowany model ASR Granite-Speech-5.0-Turbo-CTC, który zajmuje pierwsze miejsce w rankingu OpenASR. Mimo połączenia trzech funkcji, zintegrowany model zużywa mniej więcej tyle samo VRAM co sam model bazowy.
Mistral AI wypuścił Timestral, swoją pierwszą rodzinę modeli podstawowych do prognozowania szeregów czasowych, dostępną w czterech rozmiarach od 5 mln do 209 mln parametrów. Największy model zajmuje pierwsze miejsce we wszystkich trzech głównych publicznych benchmarkach prognozowania (GIFT-Eval, TIME, fev-bench), wyprzedzając wcześniejsze modele o większej liczbie parametrów. Modele generują probabilistyczne, wielowymiarowe prognozy, obsługują zmienne historyczne i znane zmienne przyszłe oraz działają wydajnie na CPU bez potrzeby GPU.
AWS przedstawił trzy optymalizacje na poziomie kerneli dla obsługi modeli Mixture-of-Experts (MoE) na GPU Hopper, opracowane we współpracy ze społecznością vLLM i wdrożone w kontenerze LMI Amazon SageMaker AI. Zmiany eliminują nieefektywność obliczeń fused MoE podczas fazy dekodowania z małymi partiami, gdzie wcześniej rdzenie Tensor Core były niedostatecznie wykorzystywane. Łącznie optymalizacje dają do 10% wyższą przepustowość i do 9% szybszy czas do pierwszego tokena (TTFT).
NVIDIA ogłosiła, że cała platforma Run:ai jest teraz open source i staje się fundamentem NVIDIA DSX AI Factory Platform do orkiestracji obciążeń AI i GPU na Kubernetes. Wydanie obejmuje cztery modułowe komponenty — KAI Scheduler, GPU Fractioning Operator, KAI Resource Management i Workload Map — które można wdrażać razem lub niezależnie. Osiem partnerów ekosystemu, w tym Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud i vCluster, integruje platformę ze swoimi usługami.
IBM Research wykorzystało skoordynowaną „fabrykę agentów” wieloagentowych do eksploracji optymalizacji sprzętowych dekodera korekcji błędów kwantowych, porównując modele własnościowe i otwarte modele wiodące przy tym samym budżecie 100 hipotez. Konfiguracja z otwartym modelem, uruchomiona lokalnie przez framework rozproszonego wnioskowania IBM llm-d, osiągnęła 52-krotne przyspieszenie względem bazowego projektu za około 26 USD kosztów wnioskowania, w porównaniu do 299 USD dla konfiguracji z modelem własnościowym, która osiągnęła wyższe, 204-krotne przyspieszenie. Badanie pokazuje, że routing uwzględniający pamięć podręczną i efektywne serwowanie (98% trafień w cache prefiksów, ~0,11 USD za milion tokenów) sprawiły, że podejście z otwartymi modelami było znacznie tańsze, przy wciąż znajdowaniu poprawnych, kompaktowych projektów sprzętowych.
Badacze z Amazon Web Services opublikowali metodę „priming”, która przekształca wstępnie wytrenowane modele Transformer w architektury hybrydowe łączące warstwy uwagi (attention) i modeli przestrzeni stanów (SSM), wykorzystując istniejące wagi zamiast treningu od zera. Podejście obniża koszty wstępnego treningu o ponad 99% i pozwala 32-miliardowemu modelowi hybrydowemu dorównać jakością źródłowemu modelowi Transformer, dekodując nawet dwukrotnie szybciej. Amazon przetestował trzy typy SSM i udostępnił otwartoźródłowy zestaw modeli, kod treningowy oraz narzędzia na licencji Apache 2.0.
Podczas OCP Global Summit NVIDIA przekazała projekty stojaków i tac obliczeniowych Vera Rubin do otwartej architektury MGX oraz ogłosiła szereg partnerstw dotyczących zasilania, chłodzenia i standardów sieciowych dla fabryk AI. Wśród partnerów są hiperskalowi gracze tacy jak Meta, Google, Microsoft i AMD, a także Cisco i Visionbay. Ogłoszenia obejmują specyfikacje stojaków (MGX 1.2), nowe oprogramowanie open source do zarządzania centrami danych AI (komponenty DSX OS), standardy odporności sieci energetycznej, architekturę zasilania 800V DC, nowe przełączanie Ethernet (Spectrum-6) oraz nowy standard modułów optycznych (USFP) wspólnie z Cisco.
Mistral AI wydał Voxtral Mini 4B Realtime Arabic — strumieniowy model rozpoznawania mowy (STT) dostrojony do dialektów arabskich, standardowego arabskiego oraz przełączania kodów językowych podczas rozmowy. Model z 4,4 mld parametrów przetwarza dźwięk 16 kHz w czasie rzeczywistym z konfigurowalnym opóźnieniem transkrypcji, osiągając przy opóźnieniu 480 ms średni wskaźnik błędów znakowych (CER) 8,82% w siedmiu testach dla języka arabskiego — blisko wyniku 7,91% CER offline'owego modelu Voxtral Transcribe Arabic. Model powstał we współpracy z marokańskim ministerstwem transformacji cyfrowej w ramach suwerennego partnerstwa AI i jest wydany na licencji Apache 2.0.