NVIDIA i Microsoft rozszerzyły wspólną infrastrukturę, udostępniając systemy Vera Rubin NVL72 w Azure oraz wprowadzając nowe opcje wdrożeniowe przez Microsoft Foundry. Zaprezentowano serię modeli Nemotron 3.5, wyspecjalizowanych w zadaniach agentowych, korzystaniu z narzędzi i wnioskowaniu o niskim opóźnieniu.
NVIDIA wprowadziła na rynek nową linię kompaktowych komputerów stacjonarnych od firm ASUS, Dell i MSI, zaprojektowanych z myślą o lokalnych obciążeniach AI. Systemy te wyposażono w 20-rdzeniowe procesory NVIDIA Grace, układy GPU Blackwell RTX oraz do 128 GB zunifikowanej pamięci, co umożliwia uruchamianie dużych modeli językowych i działających w trybie ciągłym agentów.
Firma Gradium udostępniła Phonon, zestaw kompaktowych (65-75 MB) modeli zamiany tekstu na mowę, zaprojektowanych do pracy w całości na urządzeniach końcowych. Modele obsługują pięć języków, działają offline i oferują wydajność porównywalną z rozwiązaniami o znacznie większych rozmiarach.
NVIDIA udostępniła nowy interfejs wiersza poleceń dla środowiska uruchomieniowego TensorRT Edge-LLM, umożliwiający programistom szybkie tworzenie prototypów i testowanie modeli AI na stacjach roboczych DGX Spark 64GB. Zestaw narzędzi ułatwia lokalne serwowanie modeli i wspiera dekodowanie spekulatywne DSpark, zwiększając wydajność generowania na sprzęcie o ograniczonych zasobach.
AWS opublikował przewodnik po Adaptive Agentic Intelligence Framework (AAIF), zbudowanym na Strands Agents, który kieruje proste zapytania do małych lokalnych modeli (przez Ollama), a złożone zapytania do modeli chmurowych przez Amazon Bedrock. Lekki model o 1 miliardzie parametrów (llama3.2:1b) działa jako orkiestrator decydujący, gdzie skierować każde zapytanie; w przykładzie agent monitorujący IoT korzysta z lokalnego pobierania telemetrii, lokalnej analizy wizyjnej i chmurowych ekspertnych analiz. AWS podaje, że w konfiguracji hybrydowej około 80 procent ruchu może być obsłużone lokalnie bez odwołania do płatnego API, a architektura może działać w pełni na sprzęcie brzegowym (np. Raspberry Pi z 8GB pamięci), w pełni w chmurze lub w trybie hybrydowym.
Google Research ogłosił ukończenie ostatniego kamienia milowego otwartego standardu sprzętowego Coral NPU – 32-bitowej architektury RISC-V z nową jednostką Matrix Execution Unit (do 1 TOPS, ok. 10mW) oraz wydał kompilator open-source v1.0 oparty na IREE/MLIR, który przenosi modele z JAX, PyTorch i TensorFlow bezpośrednio na sprzęt. Synaptics wprowadza pierwsze komercyjne chipy oparte na tym standardzie, w tym serię mikrokontrolerów Astra SR200 (400 GOPS) oraz nowe zestawy deweloperskie Coralboard SR i SL, przy czym wersja SL jest już ogólnie dostępna przez DigiKey. Google współpracuje też z VeriSilicon i GlobalFoundries nad wdrożeniem otwartego RTL do produkcji chipów.
Google wydał ML Drift, otwartoźródłowy, wieloplatformowy silnik obliczeniowy GPU do wnioskowania ML na urządzeniu, zastępujący dotychczasowy TFLite GPU delegate. Ujednolica obsługę shaderów między OpenGL ES, OpenCL, Metal i WebGPU, dodaje obsługę tensorów 5D oraz wprowadza optymalizacje etapowe dla faz prefill/decode w LLM. Jest już wdrożony produkcyjnie w Chrome, YouTube Shorts, Google Photos, Meet oraz aplikacjach partnerów Adobe i Snap.