TENESYS AI NEWS seka svarbiausias AI naujienas ir paaiškina, kas pasikeitė, kodėl tai svarbu ir ar technologiją verta išbandyti.
“AWS” — 11 straipsnių ✕
„Amazon Bedrock AgentCore“ yra nauja paslauga, skirta supaprastinti daugiagentės architektūros diegimą ir valdymą. Ji tvarko agentų prieglobą, saugią prieigą prie įrankių per MCP ir sesijų izoliaciją, leisdama komandoms susitelkti į agentų elgseną, o ne į operacinę infrastruktūrą.
AWS atnaujino „Amazon Polly“ generatyvinį variklį – kalba tapo natūralesnė, išraiškingesnė ir tikslesnė skaitant skaičius, adresus bei patvirtinimo kodus. Atnaujinime pridėta 14 naujų balsų 9 lokalėse, iš viso dabar yra 57 generatyviniai balsai 11 kalbų ir 25 lokalėse, įskaitant pirmą kartą visuotinai pasiekiamus hindi ir suomių kalbos balsus. Tai „drop-in“ atnaujinimas: balsų pavadinimai, API ir kainodara nesikeičia, todėl esamos programos veikia be pakeitimų.
AWS paskelbė, kad Amazon SageMaker AI serverless modelio pritaikymo funkcija „training sessions“ dabar prieinama visiems (general availability). Komandos gali rašyti savo po-treniravimo ciklus — įskaitant nuosavas nuostolio funkcijas ir apdovanojimo signalus stiprinamojo mokymosi (RL) užduotims — o SageMaker AI pasirūpina GPU paskirstymu, paskirstytu vykdymu, klaidų atkūrimu ir kontrolinių taškų saugojimu. Palaikomos technikos: SFT, DPO, RLVR, RLAIF ir daugiapakopis RL, galima rinktis LoRA arba pilną derinimą. Funkcija palaiko modelius gpt-oss-20b, gemma-4-31B-it, Qwen3.6-27B ir Qwen3.8-27B, o mokestis skaičiuojamas pagal apdorotus žetonus (tokens), sustabdant skaitiklį, kol naudotojo apdovanojimo funkcija vertina atsakymus.
AWS paskelbė praktinį vadovą apie Adaptive Agentic Intelligence Framework (AAIF), sukurtą ant Strands Agents, kuris paprastas užklausas nukreipia į mažus vietinius modelius (per Ollama), o sudėtingas – į debesijos modelius per Amazon Bedrock. Lengvas 1 milijardo parametrų modelis (llama3.2:1b) veikia kaip orkestratorius, nusprendžiantis, kur nukreipti kiekvieną užklausą; pavyzdyje naudojamas IoT stebėjimo agentas su vietine telemetrijos užklausa, vietine vaizdo analize ir debesijos ekspertinėmis įžvalgomis. AWS teigia, kad hibridinėje konfigūracijoje apie 80 proc. srauto gali būti apdorota vietoje, nekreipiantis į mokamą API, o architektūra gali veikti visiškai krašto įrenginiuose (pvz., Raspberry Pi su 8 GB atminties), visiškai debesijoje arba hibridiniu būdu.
Dirbtinio intelekto tyrimų bendrovė i14 kartu su AWS pritaikė savo Laplace 3B modelį — 24 sluoksnių architektūrą, pagrįstą Gated Linear Attention (GLA) vietoj įprasto transformerių dėmesio mechanizmo — AWS Trainium2 lustams, naudodama natyvų PyTorch (TorchNeuron Native). Vietoj su kiekvienu tokenu augančios KV talpyklos, modelis išlaiko pastovią 29,5 MB pasikartojančią būseną kiekvienai sekai. Viename trn2.48xlarge serveryje komanda pasiekė apie 120 000 tokenų per sekundę mokymo metu ir aptarnavo 11 544 išvesties tokenus per sekundę esant 1 280 lygiagrečių sekų per nemodifikuotą vLLM variklį.
AWS pristatė Agent Registry – valdomą katalogo paslaugą Model Context Protocol (MCP) serveriams, agentams ir agentų įgūdžiams registruoti. Vietoj kiekvieno įrankio kietai užkoduoto orkestratoriuje, agentai dabar gali ieškoti patvirtintame, versijuotame kataloge vykdymo metu ir sukurti klientą pagal grąžintą aprašą. Pavyzdinis sprendimas demonstruoja Discover → Instantiate → Execute ciklą naudojant Amazon Bedrock AgentCore Gateway bei AgentCore runtime, o pagrindinis modelis – Anthropic Claude Sonnet.
Eon, duomenų apsaugos ISV įmonė, veikianti AWS infrastruktūroje, pakeitė atskirus kredencialus ir lokalius MCP serverius vienu Amazon Bedrock AgentCore MCP Gateway. Gateway naudoja Cedar politikas, kad užtikrintų mažiausios privilegijos prieigą tiek inžinieriams, tiek autonominiam SRE agentui, veikiančiam su Claude per Amazon Bedrock, nukreipdamas užklausas į MCP serverius, talpinamus AgentCore Runtimes keliose AWS paskyrose. Po diegimo 100+ kūrėjų ir maždaug 10 000 sesijų, naujo darbuotojo prisijungimo prie visų įrankių laikas sumažėjo nuo ~2 dienų iki ~2 minučių.
AWS kartu su Keyfactor paskelbė referencinę architektūrą, sprendžiančią žinomą Model Context Protocol (MCP) spragą – MCP neturi įmontuoto būdo patvirtinti, kuris agentas iš tikrųjų siunčia užklausą. Architektūra prideda tris pasitikėjimo lygius – vartotojas-sistema, agentas-agentas ir agentas-įrankių serveris – pagrįstus pasirašytais užklausų vokais, vartotojo pasirašytais delegavimo patvirtinimais, RFC 8693 auditorija apribotais tokenais ir realaus laiko OCSP atšaukimo tikrinimu. Veikiantis pavyzdys naudoja Amazon Bedrock ir AWS Strands Agents SDK, o Keyfactor EJBCA išduoda ir tikrina X.509 sertifikatus; visas kodas paskelbtas GitHub.
AWS visiems „Anthropic Claude“ modeliams, veikiantiems „Amazon Bedrock“ platformoje, įdiegė struktūrizuotus atsakymus — tiek standartiniame runtime endpoint'e, tiek naujesniame agentinėms užduotims skirtame Mantle endpoint'e. Vietoj tikėjimosi, kad modelis grąžins teisingą JSON, kūrėjai dabar gali priversti atsakymus tiksliai atitikti schemą naudojant apribotą dekodavimą, kuris neleidžia modeliui generuoti formatą pažeidžiančių token'ų. Papildoma funkcija — griežtas įrankių naudojimas (strict tool use) — tą patį garantą taiko ir funkcijų iškvietimo parametrams, kad agentų darbo eigos nenutrūktų dėl netinkamo formato įvesties.
AWS ir Deepgram kartu perrašė Nova-3 kalbos atpažinimo modelį, kad jis veiktų tiesiogiai ant Trainium2 lustų vietoj įprastos GPU pagrįstos PyTorch infrastruktūros, orientuojantis į didelio masto nesinchroninius transkripcijos darbus. Darbo metu buvo perrašyti lėčiausi sluoksniai į individualius branduolius (kernels), o Python paslaugų sluoksnis pakeistas Rust laikomąja sistema, tiesiogiai kreipiantis į Trainium. Rezultatas: viena trn2.3xlarge instancija, vykdanti aštuonias lygiagrečias modelio kopijas, apdoroja 11-70% daugiau garso vienam doleriui nei ankstesnė Deepgram infrastruktūra, o panašus sutaupymas potencialiai pasiekiamas klientams, savarankiškai diegiantiems sprendimą per SageMaker.
AWS išleido „push“ tipo NIXL konektorių vLLM sistemai, keičiantį, kaip raktas-reikšmė (KV) talpyklos duomenys perduodami tarp prefill ir decode egzempliorių atskirtame LLM aptarnavime. Vietoj to, kad decode egzempliorius trauktų KV blokus po prefill pabaigos, decode egzempliorius iš anksto užregistruoja paskirties atmintį, o prefill egzempliorius tiesiogiai įrašo KV duomenis, kai tik jie parengti – taip koordinavimo darbas pašalinamas iš kritinio kelio. Testuojant su Qwen3-32B modeliu 1 prefill/1 decode konfigūracijoje EC2 P5en egzemplioriuose su EFA, push režimas pasiekė iki 3 kartų geresnį laiką iki pirmo tokeno (TTFT) ir iki 30% geresnį vieno tokeno generavimo laiką (TPOT) nei numatytasis pull režimas, ypač esant didelei užklausų apkrovai.