„Amazon“ pristatė architektūrinį sprendimą, integruojantį „NVIDIA NeMo Switchyard“ biblioteką su „LiteLLM“, skirtą dinamiškai nukreipti kodo agentų užklausas tarp skirtingų „Bedrock“ modelių. Naudojant „stage“ arba „random“ maršrutizavimą, galima efektyviai paskirstyti srautą tarp galingų ir ekonomiškų modelių, optimizuojant našumą bei kaštus.
„Amazon“ pristatė darbo eigą, leidžiančią taikyti sekų lygio žinių distiliavimą (SeqKD), siekiant apmokyti mažesnius modelius remiantis didžiųjų „frontier“ modelių sugeneruotomis veiksmų trajektorijomis. Naudojant mokytojo modelį sėkmingiems įrankių naudojimo veiksmams sugeneruoti ir filtruojant juos programiniu vertintoju, komandos gali sukurti kompaktiškus studento modelius, kurie atlieka sudėtingas užduotis žymiai mažesniais kaštais.
AWS paskelbė praktinį vadovą apie Adaptive Agentic Intelligence Framework (AAIF), sukurtą ant Strands Agents, kuris paprastas užklausas nukreipia į mažus vietinius modelius (per Ollama), o sudėtingas – į debesijos modelius per Amazon Bedrock. Lengvas 1 milijardo parametrų modelis (llama3.2:1b) veikia kaip orkestratorius, nusprendžiantis, kur nukreipti kiekvieną užklausą; pavyzdyje naudojamas IoT stebėjimo agentas su vietine telemetrijos užklausa, vietine vaizdo analize ir debesijos ekspertinėmis įžvalgomis. AWS teigia, kad hibridinėje konfigūracijoje apie 80 proc. srauto gali būti apdorota vietoje, nekreipiantis į mokamą API, o architektūra gali veikti visiškai krašto įrenginiuose (pvz., Raspberry Pi su 8 GB atminties), visiškai debesijoje arba hibridiniu būdu.
OpenAI Responses API dabar palaiko pasirenkamą 12 valandų promptų talpyklos (cache) variantą, kuris ilgiau išsaugo bendras instrukcijas, įrankius ir kontekstą, kad pakartotinės užklausos, nutolusios net kelias valandas, vis tiek galėtų naudotis pigesne talpyklos kaina. Įrašymas į šią ilgesnę talpyklą kainuoja 2,5 karto brangiau nei įprasta įvesties žetonų kaina. Tai papildoma parinktis šalia standartinės trumpesnės talpyklos.
Cohere sukūrė kontroliuojamą testavimo aplinką, kad ištirtų, kaip turėtų būti organizuojamos kodavimo agentų komandos — testuojant, kur deleguojamas darbas, kaip pagrindinis agentas laukia darbuotojų, kokie modeliai atlieka kokius vaidmenis, komandos dydį ir bendravimo būdus. ProgramBench teste gerai organizuotos komandos lenkė pavienius agentus iki ~10 procentinių punktų, tačiau kainavo 3–7 kartus brangiau. Svarbiausia išvada: deleguojant darbuotojams tik tyrinėjimą ir planavimą pasiekiamas toks pat rezultatas kaip deleguojant visus etapus (įgyvendinimą ir patikrinimą) už perpus mažesnę kainą, o stiprus pagrindinis agentas su 16 pigių planavimo darbuotojų pasiekė 61,8% rezultatą, palyginti su 63,2% visiškai stipraus modelio komandoje, sumažinant kainą nuo 510 iki 155 dolerių.
Apple ML tyrėjai paskelbė NeurIPS straipsnį apie SELFCOMPACT – karkasą, leidžiantį kalbos modelių agentams patiems nuspręsti, kada ir kaip glaudinti sukauptą kontekstą, vietoj fiksuoto intervalo glaudinimo pagal žetonų skaičių. Metodas derina modelio iškviečiamą glaudinimo įrankį su lengvu taisyklių rinkiniu, nurodančiu, kada glaudinti (kai použduotis išspręsta) ir kada susilaikyti (vidury išvedimo ar įstrigus). Testuotas šešiuose etalonuose ir septyniuose modeliuose, jis prilygo arba lenkė fiksuoto intervalo glaudinimą naudodamas gerokai mažiau žetonų.
„Google Cloud“ paskelbė apie „Gemini agent“ – suvienytą agentą, sujungiantį pokalbius, žinių darbą, turinio kūrimą ir programavimą į vieną sąsają, pasiekiamą iš įvairių įrenginių ir kanalų. Jis veikia tiesiogiai „Gmail“, „Docs“, „Sheets“, „Slides“, „Chat“ ir „Calendar“, jungiasi prie įmonių įrankių ir duomenų bazių per MCP bei įrankių registrą, ir orkestruoja kelis modelius – įskaitant „Google“ „Gemini“ šeimą ir „Anthropic“ „Claude“ – siekiant subalansuoti kokybę ir kainą. „Google“ taip pat pristatė saugumo/valdymo funkcijas, kaštų kontrolės priemones (pvz., „Smart Routing“ ir išlaidų limitus) bei klientų rezultatus iš tokių įmonių kaip BNP Paribas, Bradesco ir Orange Spain.