Pereiti prie turinio
2026 m. lapkričio 23 d., pirmadienis
Tenesys AI News
Prenumerata

Visos naujienos

TENESYS AI NEWS seka svarbiausias AI naujienas ir paaiškina, kas pasikeitė, kodėl tai svarbu ir ar technologiją verta išbandyti.

#Cost Optimization — 4 straipsniai ✕

Modeliai· Svarbu· 🧪 Verta testuoti

Kodo agentų sąnaudų optimizavimas naudojant „Amazon Bedrock“ ir „NVIDIA NeMo Switchyard“

„Amazon“ pristatė architektūrinį sprendimą, integruojantį „NVIDIA NeMo Switchyard“ biblioteką su „LiteLLM“, skirtą dinamiškai nukreipti kodo agentų užklausas tarp skirtingų „Bedrock“ modelių. Naudojant „stage“ arba „random“ maršrutizavimą, galima efektyviai paskirstyti srautą tarp galingų ir ekonomiškų modelių, optimizuojant našumą bei kaštus.

AWS Machine Learning
Modeliai· Svarbu· 🧪 Verta testuoti

Efektyvus agentų optimizavimas naudojant „Knowledge Distillation“ sistemoje „Amazon SageMaker“

„Amazon“ pristatė darbo eigą, leidžiančią taikyti sekų lygio žinių distiliavimą (SeqKD), siekiant apmokyti mažesnius modelius remiantis didžiųjų „frontier“ modelių sugeneruotomis veiksmų trajektorijomis. Naudojant mokytojo modelį sėkmingiems įrankių naudojimo veiksmams sugeneruoti ir filtruojant juos programiniu vertintoju, komandos gali sukurti kompaktiškus studento modelius, kurie atlieka sudėtingas užduotis žymiai mažesniais kaštais.

AWS Machine Learning
Agentai· 🧪 Verta testuoti

AWS pristato hibridinį agentų karkasą, mažinantį LLM kaštus derinant vietinius ir debesijos modelius

AWS paskelbė praktinį vadovą apie Adaptive Agentic Intelligence Framework (AAIF), sukurtą ant Strands Agents, kuris paprastas užklausas nukreipia į mažus vietinius modelius (per Ollama), o sudėtingas – į debesijos modelius per Amazon Bedrock. Lengvas 1 milijardo parametrų modelis (llama3.2:1b) veikia kaip orkestratorius, nusprendžiantis, kur nukreipti kiekvieną užklausą; pavyzdyje naudojamas IoT stebėjimo agentas su vietine telemetrijos užklausa, vietine vaizdo analize ir debesijos ekspertinėmis įžvalgomis. AWS teigia, kad hibridinėje konfigūracijoje apie 80 proc. srauto gali būti apdorota vietoje, nekreipiantis į mokamą API, o architektūra gali veikti visiškai krašto įrenginiuose (pvz., Raspberry Pi su 8 GB atminties), visiškai debesijoje arba hibridiniu būdu.

AWS Machine Learning
Modeliai· Svarbu· 🧪 Verta testuoti

OpenAI prideda pasirenkamą 12 valandų promptų talpyklą Responses API

OpenAI Responses API dabar palaiko pasirenkamą 12 valandų promptų talpyklos (cache) variantą, kuris ilgiau išsaugo bendras instrukcijas, įrankius ir kontekstą, kad pakartotinės užklausos, nutolusios net kelias valandas, vis tiek galėtų naudotis pigesne talpyklos kaina. Įrašymas į šią ilgesnę talpyklą kainuoja 2,5 karto brangiau nei įprasta įvesties žetonų kaina. Tai papildoma parinktis šalia standartinės trumpesnės talpyklos.

OpenAI API Changelog