„Amazon“ įgalino programinės įrangos apskaitą pagal suvartojimą dvikrypčio srautinio perdavimo modeliams „SageMaker AI“ platformoje. Anksčiau ilgos trukmės sesijoms buvo sunku taikyti programinės įrangos mokesčius, nes jų nebuvo galima suderinti su paprastomis HTTP atsakymų antraštėmis. Dabar modelių teikėjai gali pranešti apie faktinį suvartojimą realiuoju laiku naudodami specialų metaduomenų „WebSocket“ ryšį.
„Amazon“ išplėtė „AgenticRetrieveStream“ API funkcionalumą, leisdama kūrėjams nurodyti iteracijų skaičių žinių bazės užklausoms. Dabar galite rinktis tarp nulio, vieno ar kelių paieškos žingsnių, kad subalansuotumėte greitį, kainą ir sudėtingumą.
„Amazon“ pristatė daugiapakopę gynybos architektūrą, skirtą apsaugoti DI agentus, naudojančius ilgalaikę atmintį, nuo „atminties užnuodijimo“ (netiesioginio užklausų įterpimo). Sprendimas naudoja „Lambda“ pagrindu veikiantį „AgentCore Gateway“ pertvėrimą, kuris tikrina įrašus pagal semantinį nuokrypį, „regex“ šablonus, vardų sričių ribas ir dažnio apribojimus.
Taxbit įdiegė saugų, vaidmenis atpažįstantį AI asistentą su Amazon Bedrock AgentCore, skirtą automatizuoti pagalbą naudojant produkto dokumentaciją. Agentas naudoja RAG metodą, kad pagrįstų atsakymus patvirtintu turiniu, tuo pačiu griežtai užtikrinant PII maskavimą, duomenų vietos rezidavimą ir vartotojų vaidmenų leidimus.
„Amazon“ pristatė „Web Answer“ platformoje „Bedrock AgentCore“ – valdomą įrankį, supaprastinantį agentų vykdomus interneto tyrimus. Jis automatizuoja visą procesą nuo paieškos ir faktų tikrinimo iki cituojamų atsakymų sugeneravimo per MCP.
„Cartesia“ pristatė du balso modelius: „Sonic“ (teksto pavertimas balsu) ir „Ink“ (balsas į tekstą). Sukurti naudojant būsenos erdvės modelio (SSM) architektūrą, šie modeliai yra skirti itin mažo vėlinimo, realaus laiko veikimui, tinkamam profesionaliems balso agentams.
„Amazon Bedrock AgentCore“ dabar palaiko „Session endpoints“, leidžiančius kūrėjams stebėti ir sąveikauti su internetinėmis programomis tiesiogiai, kol jas kuria dirbtinio intelekto programavimo agentas. Nukreipiant srautą per autentifikuotą, izoliuotą „microVM“ sesiją, pakeitimai naršyklėje atsiranda akimirksniu be atskirų diegimo procesų.
„NVIDIA“ išleido „Nemotron 3.5 Super VL“ – 120B parametrų multimodalų modelį su 1M žetonų kontekstiniu langu. Modelis naudoja hibridinę „Mamba-2“ ir „MoE“ architektūrą, kad subalansuotų mąstymo gebėjimus ir našumą, ir yra paruoštas diegimui „Amazon EKS“ bei „SageMaker HyperPod“ aplinkose.
AWS pristatė paruoštus „Ray Train“ gilaus mokymosi konteinerius (DLC), kuriuose viename patikrintame atvaizde sujungtos „PyTorch“, „CUDA“, „NCCL“ ir „EFA“ tinklo bibliotekos. Tai leidžia jūsų įmonei diegti paskirstytojo mokymo grupes „Amazon EKS“ platformoje, nereikalaujant prižiūrėti pritaikytų atvaizdų kūrimo procesų ar spręsti sudėtingų tvarkyklių suderinamumo problemų.
AWS atnaujino savo „QA Studio“ etaloninį sprendimą, pridedant gimtąjį palaikymą kelių komandų organizacinėms struktūroms. Naujos galimybės apima programų lygio nuosavybę, automatizuotą sveikatos vertinimą remiantis „CloudWatch“ metrikomis ir granuliuotą vaidmenimis pagrįstą prieigos valdymą.
„Amazon Bedrock“ dabar palaiko aiškų (explicit) ir numanomą (implicit) užklausų spartinimą (prompt caching) „OpenAI“ modeliams, leidžiantį saugoti ir pakartotinai naudoti statinius duomenis, tokius kaip įrankiai, instrukcijos ir pokalbių istorija. Išvengus identiškų žetonų pakartotinio apdorojimo, galite žymiai sumažinti įvesties kaštus ir pagerinti reagavimą sudėtingose agentų darbo eigose.