AWS przedstawił trzy optymalizacje na poziomie kerneli dla obsługi modeli Mixture-of-Experts (MoE) na GPU Hopper, opracowane we współpracy ze społecznością vLLM i wdrożone w kontenerze LMI Amazon SageMaker AI. Zmiany eliminują nieefektywność obliczeń fused MoE podczas fazy dekodowania z małymi partiami, gdzie wcześniej rdzenie Tensor Core były niedostatecznie wykorzystywane. Łącznie optymalizacje dają do 10% wyższą przepustowość i do 9% szybszy czas do pierwszego tokena (TTFT).
IBM Research wykorzystało skoordynowaną „fabrykę agentów” wieloagentowych do eksploracji optymalizacji sprzętowych dekodera korekcji błędów kwantowych, porównując modele własnościowe i otwarte modele wiodące przy tym samym budżecie 100 hipotez. Konfiguracja z otwartym modelem, uruchomiona lokalnie przez framework rozproszonego wnioskowania IBM llm-d, osiągnęła 52-krotne przyspieszenie względem bazowego projektu za około 26 USD kosztów wnioskowania, w porównaniu do 299 USD dla konfiguracji z modelem własnościowym, która osiągnęła wyższe, 204-krotne przyspieszenie. Badanie pokazuje, że routing uwzględniający pamięć podręczną i efektywne serwowanie (98% trafień w cache prefiksów, ~0,11 USD za milion tokenów) sprawiły, że podejście z otwartymi modelami było znacznie tańsze, przy wciąż znajdowaniu poprawnych, kompaktowych projektów sprzętowych.
Badacze z Amazon Web Services opublikowali metodę „priming”, która przekształca wstępnie wytrenowane modele Transformer w architektury hybrydowe łączące warstwy uwagi (attention) i modeli przestrzeni stanów (SSM), wykorzystując istniejące wagi zamiast treningu od zera. Podejście obniża koszty wstępnego treningu o ponad 99% i pozwala 32-miliardowemu modelowi hybrydowemu dorównać jakością źródłowemu modelowi Transformer, dekodując nawet dwukrotnie szybciej. Amazon przetestował trzy typy SSM i udostępnił otwartoźródłowy zestaw modeli, kod treningowy oraz narzędzia na licencji Apache 2.0.
Podczas OCP Global Summit NVIDIA przekazała projekty stojaków i tac obliczeniowych Vera Rubin do otwartej architektury MGX oraz ogłosiła szereg partnerstw dotyczących zasilania, chłodzenia i standardów sieciowych dla fabryk AI. Wśród partnerów są hiperskalowi gracze tacy jak Meta, Google, Microsoft i AMD, a także Cisco i Visionbay. Ogłoszenia obejmują specyfikacje stojaków (MGX 1.2), nowe oprogramowanie open source do zarządzania centrami danych AI (komponenty DSX OS), standardy odporności sieci energetycznej, architekturę zasilania 800V DC, nowe przełączanie Ethernet (Spectrum-6) oraz nowy standard modułów optycznych (USFP) wspólnie z Cisco.
Google DeepMind zaprezentowało SynthID Bio, technologię znakowania wodnego, która osadza niewykrywalny, możliwy do zweryfikowania sygnaturowy znak w zaprojektowanych przez AI białkach i strukturach 3D bez naruszania ich funkcji biologicznej. System przetestowano na białkach wiążących (VEGF-A, SARS-CoV-2 spike RBD, PD-L1) z użyciem AlphaProteo oraz zmodyfikowanego ProteinMPNN, a także dostrojono do sieci dyfuzyjnej AlphaFold 3 w celu znakowania przewidywanych struktur 3D. DeepMind współpracuje również z laboratorium Hie na Stanfordzie oraz Arc Institute, aby zastosować to podejście do Evo 2, modelu genomowego, w celu znakowania zaprojektowanych genomów bakteriofagów. Celem jest wzmocnienie bezpieczeństwa biologicznego poprzez pomoc dostawcom usług przesiewowego badania syntezy DNA oraz publicznym bazom danych w weryfikacji pochodzenia projektów biologicznych generowanych przez AI.