„Amazon“ pristatė architektūrinį sprendimą, integruojantį „NVIDIA NeMo Switchyard“ biblioteką su „LiteLLM“, skirtą dinamiškai nukreipti kodo agentų užklausas tarp skirtingų „Bedrock“ modelių. Naudojant „stage“ arba „random“ maršrutizavimą, galima efektyviai paskirstyti srautą tarp galingų ir ekonomiškų modelių, optimizuojant našumą bei kaštus.
Amazon išleido SGLang-Neuron – įskiepį, leidžiantį kūrėjams vykdyti didelio masto DI modelius naudojant AWS Trainium aparatinę įrangą per standartinę SGLang sąsają. Ši integracija palaiko natūralų PyTorch vykdymą ir pažangias funkcijas, tokias kaip PD disaggregation naudojant EFA, siekiant optimizuoti modelių aptarnavimą.
„Amazon“ pristatė naujos kartos „Bedrock AgentCore“ vykdymo aplinką, skirtą sudėtingiems ir ilgai veikiantiems DI agentams. Atnaujinimas suteikia aparatine įranga izoliuotas aplinkas, greitesnį startą, didesnius skaičiavimo pajėgumus ir optimizuotą kainodarą pagal naudojimą.
„Amazon“ pristatė būdą, kaip apsaugoti daugelio nuomotojų (multi-tenant) AI agentus užtikrinant, kad RAG užklausos būtų apribotos konkretaus vartotojo teisėmis. Sprendimas naudoja ACL palaikančias žinių bazes ir „AgentCore Gateway“ užklausų perėmiklį, kuris įrankių iškvietimuose patikimai įterpia patikrintas vartotojo tapatybes, neleidžiant LLM ar „prompt injection“ atakoms pasiekti neautorizuotų duomenų.
Amazon pristatė tiesioginį Web Search API, skirtą Bedrock AgentCore, leidžiantį vykdyti paieškas tiesiogiai per standartinius AWS SDK ir CLI. Šis atnaujinimas supaprastina realaus laiko duomenų integravimą į dirbtinio intelekto agentus, pašalinant būtinybę konfigūruoti pilną AgentCore Gateway.
„Amazon“ įgalino programinės įrangos apskaitą pagal suvartojimą dvikrypčio srautinio perdavimo modeliams „SageMaker AI“ platformoje. Anksčiau ilgos trukmės sesijoms buvo sunku taikyti programinės įrangos mokesčius, nes jų nebuvo galima suderinti su paprastomis HTTP atsakymų antraštėmis. Dabar modelių teikėjai gali pranešti apie faktinį suvartojimą realiuoju laiku naudodami specialų metaduomenų „WebSocket“ ryšį.
„Amazon“ išplėtė „AgenticRetrieveStream“ API funkcionalumą, leisdama kūrėjams nurodyti iteracijų skaičių žinių bazės užklausoms. Dabar galite rinktis tarp nulio, vieno ar kelių paieškos žingsnių, kad subalansuotumėte greitį, kainą ir sudėtingumą.
„Amazon“ pristatė daugiapakopę gynybos architektūrą, skirtą apsaugoti DI agentus, naudojančius ilgalaikę atmintį, nuo „atminties užnuodijimo“ (netiesioginio užklausų įterpimo). Sprendimas naudoja „Lambda“ pagrindu veikiantį „AgentCore Gateway“ pertvėrimą, kuris tikrina įrašus pagal semantinį nuokrypį, „regex“ šablonus, vardų sričių ribas ir dažnio apribojimus.