NVIDIA pristatė darbo eigą, leidžiančią paversti gamybos metu aptiktas agentų klaidas struktūrizuotais testais, naudojant NeMo Compass ir NeMo Eval Author. Šis procesas analizuoja veiklos žurnalus, kad nustatytų pasikartojančias problemas, generuoja tikslinius vertinimus ir patikrina agento patobulinimus.
„Amazon Bedrock AgentCore“ dabar palaiko „Session endpoints“, leidžiančius kūrėjams stebėti ir sąveikauti su internetinėmis programomis tiesiogiai, kol jas kuria dirbtinio intelekto programavimo agentas. Nukreipiant srautą per autentifikuotą, izoliuotą „microVM“ sesiją, pakeitimai naršyklėje atsiranda akimirksniu be atskirų diegimo procesų.
Google paskelbė viešąją peržiūrą (Public Preview) transliavimo palaikymui API Gateway, apimančiam Server-Sent Events, chunked/NDJSON atsakymus, WebSockets ir gRPC transliavimą. Transliuojantys endpoint'ai dabar gali veikti per tą patį gateway kaip ir įprasti API, išlaikant esamą autentifikaciją, žurnalavimą ir stebėseną, nekeičiant API specifikacijos. Ryšiai gali likti atviri iki valandos, o gateway'ai dabar gauna numatomą numatytąjį hostname vietoj sugeneruoto hash. Funkcija taip pat susijusi su modelių maršrutizavimu – vienas gateway gali transliuoti atsakymus iš Gemini, Claude ir OpenAI gpt-oss modelių.
„Google“ pridėjo Plėtinių sistemą (Extension System) prie savo Agents CLI įrankio (nuo v1.5.0, o pirmapradis LangChain plėtinys pasirodė v1.8.0), leidžiančią kūrėjams pakeisti ar pridėti CLI komandas nereikalaujant forkinti įrankio. Anksčiau Agents CLI diegimo, vertinimo ir stebėsenos grandinė buvo glaudžiai susieta su „Google“ Agent Development Kit (ADK); dabar komandos gali kurti, paleisti, diegti ir vertinti LangChain, LangGraph ar Deep Agents projektus per tą pačią komandų sąsają. Plėtiniai platinami kaip katalogai „Git“ saugyklose, fiksuojami prie konkretaus commit SHA lockfile faile, ir gali būti diegiami projekto arba vartotojo lygmeniu. Sistema taip pat leidžia įmonių platformų komandoms apgaubti komandas, pavyzdžiui, deploy, savo politikomis – atitikties patikromis ar SSO vartais. Funkcija v1.8.0 versijoje žymima kaip eksperimentinė.
„Google“ pristatė TorchTPU – natyvų PyTorch backend'ą Cloud TPU („torch.device("tpu")“), ir kartu su „Meta“ sukūrė TorchTitan atšaką, pritaikytą mokymui TPU įrenginiuose. Anksčiau norint mokyti PyTorch modelius TPU reikėdavo perrašyti kodą į JAX arba naudoti senesnį torch_xla kelią; dabar pakanka minimalių įrenginio inicializavimo pakeitimų. Atšaka siūlo paruoštus receptus didelių tankių modelių (Llama 3 70B/405B, Qwen 3 8B/32B), MoE modelių (Qwen 3 235B) ir difuzinių transformerių (FLUX.1 12B) pirminiam mokymui, taip pat „Graph Trainer“, kuris visą mokymo žingsnį užfiksuoja kaip vieną XLA programą geresniam kompiliatoriaus optimizavimui.
AWS išleido „push“ tipo NIXL konektorių vLLM sistemai, keičiantį, kaip raktas-reikšmė (KV) talpyklos duomenys perduodami tarp prefill ir decode egzempliorių atskirtame LLM aptarnavime. Vietoj to, kad decode egzempliorius trauktų KV blokus po prefill pabaigos, decode egzempliorius iš anksto užregistruoja paskirties atmintį, o prefill egzempliorius tiesiogiai įrašo KV duomenis, kai tik jie parengti – taip koordinavimo darbas pašalinamas iš kritinio kelio. Testuojant su Qwen3-32B modeliu 1 prefill/1 decode konfigūracijoje EC2 P5en egzemplioriuose su EFA, push režimas pasiekė iki 3 kartų geresnį laiką iki pirmo tokeno (TTFT) ir iki 30% geresnį vieno tokeno generavimo laiką (TPOT) nei numatytasis pull režimas, ypač esant didelei užklausų apkrovai.
„Google“ išleido ML Drift — atvirojo kodo, kelioms platformoms skirtą GPU skaičiavimo variklį ML inferencijai įrenginyje, pakeičiantį senąjį TFLite GPU delegate. Jis suvienodina šeiderių tvarkymą tarp OpenGL ES, OpenCL, Metal ir WebGPU, prideda 5D tenzorių palaikymą ir įveda etapais pagrįstus optimizavimus LLM prefill/decode fazėms. Jis jau veikia gamyboje „Chrome“, „YouTube Shorts“, „Google Photos“, „Meet“ ir partnerių programose iš „Adobe“ bei „Snap“.
„Google“ pristatė AQuA (Ambient Quality Agent) – įrankį, kuris nuolat veikia šalia produkcinių AI agentų „Google Cloud“ projekte ir aptinka trikdžius, kurių nematyti žurnaluose ar sveikatos patikrinimuose, pavyzdžiui, praleistus patikrinimo žingsnius ar prarastą kontekstą tarp sub-agentų. Jis atsitiktinai atrenka produkcinių sesijų pėdsakus, vertina juos pagal kontrolinį sąrašą, grupuoja pasikartojančius trikdžių modelius, patikrina klasterius pagal pilnas transkripcijas ir seka jų būseną laikui bėgant kaip naujus, pasikartojančius ar išspręstus. Paprašius, jis taip pat gali atsekti trikdį iki konkrečios kodo ar instrukcijos eilutės, naudodamas diegimo metu užfiksuotą nekintamą šaltinio nuotrauką.
„Google Cloud“ viešosios peržiūros režimu pristatė nuotolinį MCP serverį, suteikiantį AI agentams prieigą prie gcloud ir bq komandinės eilutės įrankių per du įrankius: run_gcloud_command ir run_bq_command. Serveris veikia izoliuotoje, tinklo apribojimais apsaugotoje smėlio dėžėje „Google Cloud“ infrastruktūroje, todėl agentams nereikia diegti ar palaikyti vietinių CLI dvejetainių failų. Autentifikacija vyksta per Agent Identity, OAuth 2.0 ir IAM, integruojama su Model Armor apsauga nuo prompt injection, palaikomas Cloud Audit Logging visiškam matomumui.