„Amazon“ paskelbė etaloninę architektūrą, skirtą „Bedrock AgentCore“ prijungti prie privačių REST API ir MCP serverių ribojamoje tinklo aplinkoje. Naudojant VPC „Lattice“ išteklių šliuzą (resource gateway), esantį atskirame tinklo paskyros VPC, srautas tarp agentų ir vidinių įrankių yra nukreipiamas per centrinę ugniasienę.
„Amazon“ paskelbė saugumo vadovą, skirtą AI agentams, naudojantiems „Bedrock AgentCore Runtime“, diegti, pabrėžiant tvirtos įsilaužimo kontrolės svarbą. Vadove išsamiai aprašoma, kaip naudojant tapatybės propagavimą ir sluoksniuotą autorizaciją išvengti duomenų nutekėjimo tarp nuomininkų ir privilegijų eskalavimo.
„Amazon“ „SageMaker“ platformoje įdiegė naujas dirbtinio intelekto pagrindu veikiančias duomenų paruošimo galimybes, palengvinančias aukštos kokybės duomenų rinkinių kūrimą ir priežiūrą. Funkcionalumas apima automatinį žymėjimą, sintetinių duomenų generavimą ir kokybės patikras, valdomas per „Python SDK“ arba AI agentus.
AWS pristatė valdomą NVIDIA Dynamo palaikymą SageMaker HyperPod aplinkoje, supaprastindama didelių kalbos modelių diegimą. Atnaujinimas suteikia galimybę naudoti kelių mazgų (multi-node) išvestį, leidžiančią vykdyti modelius, kurie viršija vieno GPU atminties ribas per atskirtus prefill ir decode procesus.
Amazon SageMaker AI pristatė naują 'KV_AWARE' nukreipimo strategiją, kuri nukreipia LLM užklausas į egzempliorius pagal faktinę KV podėlio būseną, o ne tik pagal užklausos pradžią. Tai optimizuoja daugiasluoksnius pokalbius ir ilgo konteksto užduotis, užtikrinant, kad užklausos patektų ten, kur jau saugomi reikiami duomenys.
„Amazon“ pristatė trijų fazių planą, skirtą padėti platformų ir aplikacijų komandoms operacionalizuoti atsakingą DI agentinėse sistemose. Jame sprendžiami nenuspėjamo elgesio, duomenų izoliavimo ir atitikties reguliavimui iššūkiai, kai agentai pereina nuo bandomosios versijos prie gamybinės aplinkos.
„Amazon Bedrock“ pristatė naują atmintį palaikančią funkciją „AgenticRetrieveStream“. Ji automatizuoja su naudotoju susijusių faktų bei pokalbių istorijos saugojimą ir paiešką, leisdama agentams pateikti kontekstu pagrįstus atsakymus, kartu išlaikant griežtą dokumentų prieigos kontrolę.
„Amazon Bedrock Managed Knowledge Base“ dabar palaiko lentelių paiešką, leidžiančią agentams apdoroti duomenis tiesiogiai iš CSV, XLSX ir XLS failų. Sistema naudoja saugioje smėlio dėžėje (sandbox) sugeneruotą kodą skaičiavimams ir duomenų ištraukimui iš visų failų, sujungdama rezultatus su faktais iš nestruktūrizuotų dokumentų.
„Amazon“ pristatė architektūrinį sprendimą, integruojantį „NVIDIA NeMo Switchyard“ biblioteką su „LiteLLM“, skirtą dinamiškai nukreipti kodo agentų užklausas tarp skirtingų „Bedrock“ modelių. Naudojant „stage“ arba „random“ maršrutizavimą, galima efektyviai paskirstyti srautą tarp galingų ir ekonomiškų modelių, optimizuojant našumą bei kaštus.
„Amazon Threat Intelligence“ užfiksavo autonominius agentus, naudojančius atvirojo kodo ARTEX sistemą plataus masto duomenų vagystėms ir tapatybės klastojimui naudojant „deepfake“. Šiose kampanijose išnaudotos neatnaujintos AI infrastruktūros spragos ir konfigūracijos klaidos, siekiant automatizuoti daugiapakopes atakas.
Amazon išleido SGLang-Neuron – įskiepį, leidžiantį kūrėjams vykdyti didelio masto DI modelius naudojant AWS Trainium aparatinę įrangą per standartinę SGLang sąsają. Ši integracija palaiko natūralų PyTorch vykdymą ir pažangias funkcijas, tokias kaip PD disaggregation naudojant EFA, siekiant optimizuoti modelių aptarnavimą.
„Amazon“ pristatė naujos kartos „Bedrock AgentCore“ vykdymo aplinką, skirtą sudėtingiems ir ilgai veikiantiems DI agentams. Atnaujinimas suteikia aparatine įranga izoliuotas aplinkas, greitesnį startą, didesnius skaičiavimo pajėgumus ir optimizuotą kainodarą pagal naudojimą.
„Amazon“ pristatė būdą, kaip apsaugoti daugelio nuomotojų (multi-tenant) AI agentus užtikrinant, kad RAG užklausos būtų apribotos konkretaus vartotojo teisėmis. Sprendimas naudoja ACL palaikančias žinių bazes ir „AgentCore Gateway“ užklausų perėmiklį, kuris įrankių iškvietimuose patikimai įterpia patikrintas vartotojo tapatybes, neleidžiant LLM ar „prompt injection“ atakoms pasiekti neautorizuotų duomenų.
Amazon pristatė sistemą, skirtą aptikti tyliuosius duomenų sugadinimus (SDC) paskirstyto mokymo metu, kai sugedusi įranga pateikia klaidingus skaičiavimus be jokių įspėjamųjų žurnalų. Integravę tris pasirinktines patikras – gradientų baigtinumo, žiedinio atkūrimo ir svorių atspaudų – į savo PyTorch DDP mokymo ciklus, galite identifikuoti, izoliuoti ir pakeisti neveikiančius mazgus.
Amazon pristatė tiesioginį Web Search API, skirtą Bedrock AgentCore, leidžiantį vykdyti paieškas tiesiogiai per standartinius AWS SDK ir CLI. Šis atnaujinimas supaprastina realaus laiko duomenų integravimą į dirbtinio intelekto agentus, pašalinant būtinybę konfigūruoti pilną AgentCore Gateway.
„Amazon“ išleido universalų agentų vertinimo sistemos (UAEF) sprendimą, skirtą standartizuoti AI agentų testavimą. Naudojant adapterius, įvairių karkasų, tokių kaip „LangChain“ ar „LangGraph“, vykdymo sekos konvertuojamos į bendrą formatą, leidžiantį taikyti nuoseklius vertinimo kriterijus.
„Amazon“ įgalino programinės įrangos apskaitą pagal suvartojimą dvikrypčio srautinio perdavimo modeliams „SageMaker AI“ platformoje. Anksčiau ilgos trukmės sesijoms buvo sunku taikyti programinės įrangos mokesčius, nes jų nebuvo galima suderinti su paprastomis HTTP atsakymų antraštėmis. Dabar modelių teikėjai gali pranešti apie faktinį suvartojimą realiuoju laiku naudodami specialų metaduomenų „WebSocket“ ryšį.
Amazon Bedrock AgentCore dabar siūlo platų integruotų, trečiųjų šalių ir pasirinktinių vertintojų katalogą agentų elgsenai gamybinėje aplinkoje stebėti. Platforma leidžia vykdyti DeepEval ir AutoEval metrikas valdomoje aplinkoje, palaikant užklausų, realaus laiko bei paketinio vertinimo darbo eigas.
„Amazon“ pristatė „Mitra-v2“ – pamatinį lentelių duomenų modelį, apmokytą naudojant tik sintetinius duomenis. Ši versija lenkia pirmtaką dėl didesnio mokymosi duomenų masto ir naujo hibridinio struktūrinio kauzalinio modelio, kuris geriau atspindi realaus pasaulio duomenų ryšius.
„Amazon“ išplėtė „AgenticRetrieveStream“ API funkcionalumą, leisdama kūrėjams nurodyti iteracijų skaičių žinių bazės užklausoms. Dabar galite rinktis tarp nulio, vieno ar kelių paieškos žingsnių, kad subalansuotumėte greitį, kainą ir sudėtingumą.
Amazon pristatė septynių sluoksnių pavyzdinę architektūrą, skirtą DI agentų programoms pereiti nuo pradinių prototipų iki gamybai paruoštų sistemų. Sistema pabrėžia modulinį, prijungiamą dizainą, naudojant stabilias sutartis tarp tokių sluoksnių kaip duomenys, išvados (inference), orkestravimas ir saugumas.
„Amazon“ pristatė daugiapakopę gynybos architektūrą, skirtą apsaugoti DI agentus, naudojančius ilgalaikę atmintį, nuo „atminties užnuodijimo“ (netiesioginio užklausų įterpimo). Sprendimas naudoja „Lambda“ pagrindu veikiantį „AgentCore Gateway“ pertvėrimą, kuris tikrina įrašus pagal semantinį nuokrypį, „regex“ šablonus, vardų sričių ribas ir dažnio apribojimus.
„Amazon SageMaker Inference“ pristatė NVIDIA „Multi-Instance GPU“ (MIG) palaikymą, leidžiantį padalyti vieną fizinį GPU į kelis nepriklausomus vienetus. Šis aparatinis padalijimas suteikia kiekvienai particijai skirtą skaičiavimo galią ir atmintį, užtikrinant nuspėjamą delsą ir griežtą izoliaciją tarp modelių, esančių tame pačiame akceleratoriuje.
Taxbit įdiegė saugų, vaidmenis atpažįstantį AI asistentą su Amazon Bedrock AgentCore, skirtą automatizuoti pagalbą naudojant produkto dokumentaciją. Agentas naudoja RAG metodą, kad pagrįstų atsakymus patvirtintu turiniu, tuo pačiu griežtai užtikrinant PII maskavimą, duomenų vietos rezidavimą ir vartotojų vaidmenų leidimus.
„Amazon“ pristatė „serverless“ modeliu pagrįstą „Model Context Protocol“ (MCP) sąsają, veikiančią „Amazon ECS Fargate“ pagrindu. Ji leidžia AI agentams užklausti įmonės duomenų saugyklas naudojant metaduomenimis pagrįstą metodą – vietoj individualaus kodo rašymo kiekvienam duomenų rinkiniui, pakanka sukurti JSON aprašą.
„Amazon“ pristatė „Web Answer“ platformoje „Bedrock AgentCore“ – valdomą įrankį, supaprastinantį agentų vykdomus interneto tyrimus. Jis automatizuoja visą procesą nuo paieškos ir faktų tikrinimo iki cituojamų atsakymų sugeneravimo per MCP.
„Amazon Quick“ pristatė „Smart Approvals“ funkciją, skirtą automatizuoti rutinines agentų užduotis, išlaikant žmogaus priežiūrą kritiniams sprendimams. Sistema naudoja klasifikatorių, kuris vertina atliekamus veiksmus pagal pokalbio kontekstą ir nustatytas taisykles, todėl sumažina nereikalingų pertraukimų skaičių nepažeidžiant saugumo reikalavimų.
Amazon pristatė kelių agentų sistemą, sukurtą „Bedrock AgentCore“ pagrindu, kuri automatizuoja inžinerinių dokumentų vertinimą. Architektūra sujungia multimodalų informacijos paieškos mechanizmą, deterministinius Python pagrindu veikiančius taisyklių patikrinimus ir hierarchinį LLM orkestravimą.
„Amazon“ pristatė darbo eigą, leidžiančią taikyti sekų lygio žinių distiliavimą (SeqKD), siekiant apmokyti mažesnius modelius remiantis didžiųjų „frontier“ modelių sugeneruotomis veiksmų trajektorijomis. Naudojant mokytojo modelį sėkmingiems įrankių naudojimo veiksmams sugeneruoti ir filtruojant juos programiniu vertintoju, komandos gali sukurti kompaktiškus studento modelius, kurie atlieka sudėtingas užduotis žymiai mažesniais kaštais.
„Amazon Bedrock AgentCore“ dabar palaiko „Session endpoints“, leidžiančius kūrėjams stebėti ir sąveikauti su internetinėmis programomis tiesiogiai, kol jas kuria dirbtinio intelekto programavimo agentas. Nukreipiant srautą per autentifikuotą, izoliuotą „microVM“ sesiją, pakeitimai naršyklėje atsiranda akimirksniu be atskirų diegimo procesų.
Amazon pristatė galimybę kurti ketinimais pagrįstus UI testus naudojant Nova Act kartu su Bedrock AgentCore Browser Tool įrankiu. Tai leidžia inžinierių komandoms rašyti testų scenarijus natūralia kalba, atsisakant trapių, DOM selektoriais paremtų testavimo skriptų.
AWS atnaujino savo „QA Studio“ etaloninį sprendimą, pridedant gimtąjį palaikymą kelių komandų organizacinėms struktūroms. Naujos galimybės apima programų lygio nuosavybę, automatizuotą sveikatos vertinimą remiantis „CloudWatch“ metrikomis ir granuliuotą vaidmenimis pagrįstą prieigos valdymą.
„Amazon Bedrock“ dabar palaiko aiškų (explicit) ir numanomą (implicit) užklausų spartinimą (prompt caching) „OpenAI“ modeliams, leidžiantį saugoti ir pakartotinai naudoti statinius duomenis, tokius kaip įrankiai, instrukcijos ir pokalbių istorija. Išvengus identiškų žetonų pakartotinio apdorojimo, galite žymiai sumažinti įvesties kaštus ir pagerinti reagavimą sudėtingose agentų darbo eigose.
„Amazon Bedrock AgentCore“ yra nauja paslauga, skirta supaprastinti daugiagentės architektūros diegimą ir valdymą. Ji tvarko agentų prieglobą, saugią prieigą prie įrankių per MCP ir sesijų izoliaciją, leisdama komandoms susitelkti į agentų elgseną, o ne į operacinę infrastruktūrą.
„Audible“ sukūrė valdomą teksto į kalbą (TTS) sistemą, kuri naudoja didelius kalbos modelius (LLM) veikėjų profiliavimui ir dialogų priskyrimui su iki 97% tikslumu. Naudojant natūralios kalbos aprašymus kaip „scenos nurodymus“, sistema užtikrina išskirtinius ir nuoseklius veikėjų balsus viso ilgo formato turinio metu.
Amazon išleido TorchNeuron – atvirojo kodo programinę sąsają, leidžiančią esamą PyTorch kodą vykdyti AWS Trainium greitintuvuose be didelių pakeitimų. Naujovė pristato papildomą vykdymo režimą bei kelių lygių talpyklą, mažinančią pakartotinį kompiliavimą, o jos patikimumas buvo patikrintas naudojant AI agentus, kurie iš šimtų tūkstančių Hugging Face modelių atrinko reprezentatyvų testavimo rinkinį. Vidiniai dideliu modeliu atlikti testai parodė, kad laikas iki pirmojo mokymo žingsnio sutrumpėjo maždaug trečdaliu.
AWS atnaujino „Amazon Polly“ generatyvinį variklį – kalba tapo natūralesnė, išraiškingesnė ir tikslesnė skaitant skaičius, adresus bei patvirtinimo kodus. Atnaujinime pridėta 14 naujų balsų 9 lokalėse, iš viso dabar yra 57 generatyviniai balsai 11 kalbų ir 25 lokalėse, įskaitant pirmą kartą visuotinai pasiekiamus hindi ir suomių kalbos balsus. Tai „drop-in“ atnaujinimas: balsų pavadinimai, API ir kainodara nesikeičia, todėl esamos programos veikia be pakeitimų.
„Amazon“ bendradarbiavo su nepriklausoma ne pelno organizacija AVERI, kuri audituoja ne pačių modelių atsakymus, o vidinių saugumo vertinimo duomenų rinkinių kokybę. AVERI peržiūrėjo atsitiktinę, anonimizuotą saugumo testų užklausų imtį, apimančią kenksmingo turinio, kibernetinio saugumo, privatumo ir autorių teisių sritis. Peržiūra patvirtino gerą temų aprėptį, įvairius testavimo metodus ir žemą duomenų užteršimo riziką, bet nurodė spragas daugiakalbystės aprėptyje ir daugiažingsnių priešiškų užklausų testavime. „Amazon“ reaguodama atliko keturis konkrečius pokyčius.
„Amazon Web Services“ tyrėjai paskelbė metodą „priming“, kuris paverčia iš anksto apmokytus Transformer modelius hibridinėmis architektūromis, derinančiomis dėmesio (attention) ir būsenos erdvės modelio (SSM) sluoksnius, panaudojant jau turimus svorius vietoj mokymo nuo nulio. Metodas sumažina mokymo sąnaudas daugiau nei 99% ir leidžia 32 milijardų parametrų hibridiniam modeliui pasiekti tokią pačią kokybę kaip originalus Transformer modelis, dekoduojant iki dvigubai greičiau. „Amazon“ išbandė tris SSM tipus ir atvirai paskelbė modelių rinkinį, mokymo kodą bei įrankius pagal Apache 2.0 licenciją.
AWS tyrėjai aprašo sistemą, kuri telekomunikacijų tinklą modeliuoja kaip nuolat atnaujinamą grafą ('skaitmeninį dvynį') ir naudoja AI agentus, vykdančius grafų algoritmų kaskadą (dekompozicija, klasterizavimas, centrališkumo reitingavimas), kad nustatytų gedimų pagrindines priežastis. Metodas pademonstruotas su NTT DOCOMO Mobile World Conference renginyje, teigiama, kad komercijose tinkluose gedimų priežasčių nustatymas sutrumpėjo nuo valandų iki minučių. Agentai taip pat konsultuojasi su incidentų žinių baze bei veiklos vadovais ir laikui bėgant gali pereiti nuo patariamojo vaidmens iki pilno savarankiško taisymo.