Hugging Face wprowadziło strumieniowanie ekspertów dla modeli typu Mixture-of-Experts (MoE) w bibliotece Transformers. Technika ta umożliwia uruchamianie modeli o ogromnych rozmiarach, które zazwyczaj przekraczałyby standardowe limity pamięci sprzętowej, dzięki strumieniowaniu aktywnych ekspertów w czasie rzeczywistym.
Firma PolyAI wprowadziła Dialog-RSN-1, model dedykowany do obsługi rozmów głosowych na żywo, który przetwarza dźwięk bezpośrednio, eliminując potrzebę stosowania pośredniej transkrypcji. Rozwiązanie jest już dostępne w ekosystemie AWS jako bezpieczny endpoint.
NVIDIA wprowadziła na rynek nową linię kompaktowych komputerów stacjonarnych od firm ASUS, Dell i MSI, zaprojektowanych z myślą o lokalnych obciążeniach AI. Systemy te wyposażono w 20-rdzeniowe procesory NVIDIA Grace, układy GPU Blackwell RTX oraz do 128 GB zunifikowanej pamięci, co umożliwia uruchamianie dużych modeli językowych i działających w trybie ciągłym agentów.
Naukowcy udostępnili Limite 1B - Violetto, kompaktowy model o 1 miliardzie parametrów, zaprojektowany do rozwiązywania problemów matematycznych. Obsługuje okno kontekstowe o długości 131 tys. tokenów i jest udostępniony na licencji Apache 2.0.
Firma Aionic Labs wprowadziła OpenTSLM-Flamingo, model językowy szeregów czasowych (TSLM), który można wdrażać za pośrednictwem Amazon SageMaker JumpStart. Łączy on architekturę Gemma 3 4B z enkoderem szeregów czasowych, aby interpretować wskaźniki operacyjne wraz z kontekstem tekstowym.
AWS wprowadziło zarządzane wsparcie dla NVIDIA Dynamo w SageMaker HyperPod, co upraszcza wdrożenia wielkoskalowych modeli językowych. Aktualizacja wprowadza inferencję wielowęzłową, umożliwiając obsługę modeli przekraczających pamięć pojedynczego GPU dzięki rozdzieleniu faz prefill i decode.
Amazon SageMaker AI wprowadziło strategię routingu 'KV_AWARE', która kieruje zapytania LLM do instancji na podstawie stanu ich pamięci podręcznej KV, a nie tylko nagłówków promptów. Optymalizuje to wieloetapowe konwersacje i długie konteksty, zapewniając obsługę zapytań tam, gdzie dane są już dostępne w pamięci GPU.
NVIDIA opublikowała techniczne wytyczne dotyczące projektowania rzadkiej uwagi („sparse attention”) w modelach z długim kontekstem. Poprzez optymalizację jąder indeksujących („indexer”), które identyfikują istotne tokeny przed pełną analizą, można znacząco poprawić wydajność wnioskowania przy kontekście przekraczającym 100 tys. tokenów.
NVIDIA wprowadziła 'Nemotron for Science', zestaw narzędzi łączący model Nemotron 3.5 Super VL ze specjalistycznymi zbiorami danych chemicznych i przepisami potreningowymi. Platforma ta umożliwia badaczom wdrażanie lokalnych agentów, którzy potrafią samodzielnie planować eksperymenty, uruchamiać kod i weryfikować wyniki danych.
Badacze przedstawili „OmniTag-Bench”, nowy pięciojęzyczny zestaw testowy do oceny multimodalnych modeli LLM pod kątem jednoczesnej transkrypcji mowy i tagowania metadanych. Badanie wykazuje, że jeden, dotrenowany multimodalny model może wyodrębniać transkrypcje, emocje, płeć, język oraz nazwy własne w jednym przebiegu wnioskowania, zastępując łańcuchy specjalistycznych modeli.
Hugging Face nawiązało współpracę z OpenRouter, aby obsługiwać inferencję modeli językowych. Wszystkie zapytania są teraz automatycznie kierowane przez OpenRouter, który wybiera najlepszego dostawcę w oparciu o bieżące ceny, szybkość i niezawodność.
Firma NVIDIA opublikowała pierwsze wyniki testów MLPerf Training v6.1 oraz Endpoints v1.0 dla swojej nowej architektury Vera Rubin. System wykazał znaczny postęp w szybkości trenowania oraz efektywności energetycznej w zadaniach opartych na agentach AI.
Amazon opublikował architekturę referencyjną integrującą bibliotekę NVIDIA NeMo Switchyard z LiteLLM w celu dynamicznego kierowania zapytań agentów programistycznych między różnymi modelami w Bedrock. Stosując routing warstwowy (stage) lub losowy (random), możesz przekierowywać ruch między modelami o wysokiej wydajności a modelami ekonomicznymi, balansując koszty i skuteczność.
Amazon wprowadził model OpenFold3-preview do SageMaker JumpStart, umożliwiając użytkownikom przewidywanie struktur 3D białek, DNA, RNA i ligandów. Wdrożenie wykorzystuje asynchroniczne punkty końcowe do obsługi długotrwałych obliczeń, wspierając automatyczne skalowanie oraz możliwość wyłączenia instancji w stanie bezczynności.
Firma NVIDIA udostępniła moduł cuda.bindings.cudla, umożliwiający bezpośrednie zarządzanie akceleratorem Deep Learning Accelerator (DLA) na platformie Jetson AGX Orin za pomocą języka Python. Programiści mogą teraz łączyć wstępne przetwarzanie GPU i wnioskowanie DLA w jednym strumieniu CUDA.
Firma NVIDIA udostępniła workflow techniczny umożliwiający uruchomienie modelu MoE GLM-5.3 o 753 mld parametrów na dwóch stacjach DGX wyposażonych w GB300. Dzięki zastosowaniu zrównoleglenia tensorowego (TP=2) poprzez połączenia RDMA i vLLM, można pokonać ograniczenia pamięci pojedynczego GPU (252 GB HBM3e) w przypadku modeli o ogromnej skali.
Projekt llama.cpp oficjalnie osiągnął kamień milowy 1.0.0, trzy i pół roku po powstaniu. Wydanie wprowadza rygorystyczne wersjonowanie semantyczne, aby zapewnić większą przewidywalność dla programistów korzystających z bibliotek C/C++: libllama i libggml.
DeepSeek udostępnił użytkownikom API cały swój zestaw narzędzi aplikacyjnych. Deweloperzy mogą teraz aktywować parametry wyszukiwania w sieci, czytania URL, parsowania plików oraz filtrów bezpieczeństwa bezpośrednio w zapytaniach czatu, a także korzystać z niezależnych punktów końcowych ASR, TTS i OCR.
Firma Amazon udostępniła SGLang-Neuron – wtyczkę, która pozwala programistom uruchamiać wielkoskalowe modele AI na sprzęcie AWS Trainium przy użyciu standardowego interfejsu SGLang. Integracja ta umożliwia natywne wykonywanie kodu PyTorch i wspiera zaawansowane funkcje, takie jak PD disaggregation za pośrednictwem EFA, w celu optymalizacji serwowania modeli.