Amazon SageMaker AI pristatė naują 'KV_AWARE' nukreipimo strategiją, kuri nukreipia LLM užklausas į egzempliorius pagal faktinę KV podėlio būseną, o ne tik pagal užklausos pradžią. Tai optimizuoja daugiasluoksnius pokalbius ir ilgo konteksto užduotis, užtikrinant, kad užklausos patektų ten, kur jau saugomi reikiami duomenys.
„Amazon“ pristatė architektūrinį sprendimą, integruojantį „NVIDIA NeMo Switchyard“ biblioteką su „LiteLLM“, skirtą dinamiškai nukreipti kodo agentų užklausas tarp skirtingų „Bedrock“ modelių. Naudojant „stage“ arba „random“ maršrutizavimą, galima efektyviai paskirstyti srautą tarp galingų ir ekonomiškų modelių, optimizuojant našumą bei kaštus.
„Amazon“ papildė „SageMaker JumpStart“ „OpenFold3-preview“ modeliu, leidžiančiu prognozuoti baltymų, DNR, RNR ir ligandų 3D struktūras. Sprendimas naudoja asinchroninius užklausų taškus ilgai trunkančioms užduotims atlikti, palaiko automatinį mastelio keitimą bei išteklių mažinimą iki nulio, kai sistema nenaudojama.
Amazon išleido SGLang-Neuron – įskiepį, leidžiantį kūrėjams vykdyti didelio masto DI modelius naudojant AWS Trainium aparatinę įrangą per standartinę SGLang sąsają. Ši integracija palaiko natūralų PyTorch vykdymą ir pažangias funkcijas, tokias kaip PD disaggregation naudojant EFA, siekiant optimizuoti modelių aptarnavimą.
Amazon pristatė tiesioginį Web Search API, skirtą Bedrock AgentCore, leidžiantį vykdyti paieškas tiesiogiai per standartinius AWS SDK ir CLI. Šis atnaujinimas supaprastina realaus laiko duomenų integravimą į dirbtinio intelekto agentus, pašalinant būtinybę konfigūruoti pilną AgentCore Gateway.
„Moonshot AI“ išleido „Kimi K3.1 Pro Highspeed“ – naują modelį „Amazon Bedrock“ platformoje, skirtą sudėtingoms agentų užduotims ir programavimo darbams. Šis modelis pasižymi 2–3 kartus didesniu generavimo greičiu nei standartinė versija, palaiko konfigūruojamą logiką, įrankių iškvietimą bei „explicit prompt caching“ funkciją išlaidų optimizavimui.