Amazon opublikował architekturę referencyjną integrującą bibliotekę NVIDIA NeMo Switchyard z LiteLLM w celu dynamicznego kierowania zapytań agentów programistycznych między różnymi modelami w Bedrock. Stosując routing warstwowy (stage) lub losowy (random), możesz przekierowywać ruch między modelami o wysokiej wydajności a modelami ekonomicznymi, balansując koszty i skuteczność.
Firma Amazon udostępniła SGLang-Neuron – wtyczkę, która pozwala programistom uruchamiać wielkoskalowe modele AI na sprzęcie AWS Trainium przy użyciu standardowego interfejsu SGLang. Integracja ta umożliwia natywne wykonywanie kodu PyTorch i wspiera zaawansowane funkcje, takie jak PD disaggregation za pośrednictwem EFA, w celu optymalizacji serwowania modeli.
Amazon wprowadził nową generację środowiska wykonawczego dla Bedrock AgentCore, przeznaczoną do obsługi złożonych i długotrwałych zadań AI. Aktualizacja wprowadza izolowane sprzętowo środowiska z szybszym uruchamianiem, większymi zasobami obliczeniowymi oraz lepszą efektywnością kosztową dzięki rozliczaniu opartemu na rzeczywistym zużyciu.
Amazon wprowadził wzorzec zabezpieczania agentów AI obsługujących wielu użytkowników poprzez ograniczenie zasięgu zapytań RAG do konkretnych osób. Rozwiązanie wykorzystuje bazy wiedzy z obsługą list kontroli dostępu (ACL) oraz przechwytywacz zapytań w bramie AgentCore Gateway, który deterministycznie wstrzykuje zweryfikowane tożsamości użytkowników do wywołań narzędzi, zapobiegając dostępowi do nieautoryzowanych danych przez LLM.
Amazon udostępnił interfejs API do wyszukiwania w sieci w ramach Bedrock AgentCore, co pozwala deweloperom na wykonywanie zapytań przez standardowe AWS SDK i CLI. To rozwiązanie eliminuje konieczność konfiguracji bramy AgentCore Gateway, ułatwiając implementację funkcji wyszukiwania w niestandardowych agentach AI.
AWS opublikowało przewodnik tworzenia architektury sterowanej zdarzeniami, która automatycznie synchronizuje schematy narzędzi Model Context Protocol (MCP) z AWS Agent Registry. Wykorzystując AWS CloudTrail, EventBridge i Lambda, ten proces wykrywa zmiany w czasie wykonywania i aktualizuje rejestr za każdym razem, gdy ewoluuje schemat narzędzi serwera MCP.
Amazon umożliwił rozliczanie oprogramowania w modelu usage-based dla modeli działających w ramach dwukierunkowego streamingu w SageMaker AI. Wcześniej naliczanie opłat za długotrwałe sesje streamingowe było utrudnione, ponieważ nie można było ich powiązać z prostymi nagłówkami odpowiedzi HTTP. Teraz dostawcy modeli mogą raportować wykorzystanie w czasie rzeczywistym za pomocą dedykowanego połączenia WebSocket z metadanymi.
Amazon rozszerzył możliwości API AgenticRetrieveStream, pozwalając programistom określić poziom iteracji dla zapytań do bazy wiedzy. Teraz możesz wybierać między zerem, jednym lub wieloma krokami wyszukiwania, aby zrównoważyć szybkość, koszt i złożoność każdego zapytania.
Firma Amazon udostępniła wielowarstwową architekturę obronną, zapobiegającą zatruwaniu pamięci (rodzaj pośredniego wstrzykiwania promptów) w agentach AI wykorzystujących pamięć trwałą. Rozwiązanie wykorzystuje interceptor Lambda w bramie AgentCore Gateway do walidacji zapisów w oparciu o dryf semantyczny, wzorce regex, granice przestrzeni nazw i limity częstotliwości.
Firma Taxbit wdrożyła bezpiecznego, świadomego ról asystenta AI przy użyciu Amazon Bedrock AgentCore, aby zautomatyzować wsparcie w oparciu o dokumentację produktu. Agent wykorzystuje RAG do opierania odpowiedzi na zweryfikowanych treściach, jednocześnie rygorystycznie egzekwując maskowanie PII, regionalną rezydencję danych oraz uprawnienia oparte na rolach użytkowników.
Firma Amazon udostępniła Web Answer w ramach Bedrock AgentCore – zarządzane narzędzie, które upraszcza badania internetowe prowadzone przez agentów. Automatyzuje ono cały potok, od wyszukiwania i weryfikacji faktów po syntezę odpowiedzi z cytatami, dostarczając wyniki przez MCP.
Firma Cartesia wprowadziła dwa modele do zastosowań głosowych: Sonic (zamiana tekstu na mowę) oraz Ink (zamiana mowy na tekst). Zbudowane w oparciu o architekturę State Space Model (SSM), modele te zostały zaprojektowane z myślą o ultra-niskich opóźnieniach i wydajności w czasie rzeczywistym, co jest kluczowe dla profesjonalnych agentów głosowych.
Amazon Bedrock AgentCore wspiera teraz „Session endpoints”, umożliwiając programistom podgląd i interakcję z aplikacjami internetowymi w trakcie ich tworzenia przez agenta AI. Dzięki kierowaniu ruchu przez uwierzytelnioną, izolowaną sesję microVM, zmiany w przeglądarce pojawiają się natychmiast, bez konieczności przeprowadzania osobnych wdrożeń.
NVIDIA wprowadziła Nemotron 3.5 Super VL, multimodalny model 120B z oknem kontekstowym 1M tokenów. Model wykorzystuje hybrydową architekturę Mamba-2 oraz MoE, aby zrównoważyć możliwości rozumowania z wydajnością wnioskowania, i jest gotowy do wdrożenia w środowiskach Amazon EKS oraz SageMaker HyperPod.
AWS wprowadziło gotowe kontenery Ray Train Deep Learning (DLC), które integrują biblioteki PyTorch, CUDA, NCCL oraz EFA w jednym przetestowanym obrazie. To podejście pozwala Twojej firmie wdrażać klastry do uczenia rozproszonego na Amazon EKS bez konieczności utrzymywania własnych potoków budowania obrazów czy rozwiązywania złożonych problemów z kompatybilnością sterowników.
AWS zaktualizowało swoje rozwiązanie referencyjne QA Studio, dodając obsługę struktur wielozespołowych. Nowe funkcje obejmują zarządzanie własnością na poziomie aplikacji, automatyczną ocenę stanu testów na podstawie metryk CloudWatch oraz szczegółową kontrolę dostępu opartą na rolach.
Amazon Bedrock obsługuje teraz jawne i niejawne buforowanie promptów dla modeli OpenAI, umożliwiając przechowywanie i ponowne wykorzystywanie statycznych prefiksów, takich jak narzędzia, instrukcje i historia konwersacji. Unikając ponownego przetwarzania identycznych tokenów w każdej turze, można znacząco obniżyć koszty wejściowe i zwiększyć responsywność złożonych procesów agentowych.
Eon, firma ISV zajmująca się ochroną danych działająca na AWS, zastąpiła osobne poświadczenia i lokalne serwery MCP jedną bramą Amazon Bedrock AgentCore MCP Gateway. Brama wykorzystuje polityki oparte na Cedar, by wymusić dostęp o minimalnych uprawnieniach zarówno dla inżynierów, jak i autonomicznego agenta SRE działającego na Claude przez Amazon Bedrock, kierując wywołania do serwerów MCP hostowanych na AgentCore Runtimes w wielu kontach AWS. Po wdrożeniu dla 100+ deweloperów i około 10 000 sesji czas wdrażania nowego inżyniera spadł z ok. 2 dni do ok. 2 minut.
AWS opublikował framework zarządzania o nazwie Trust in Depth, mający umożliwić agentom AI działanie z większą autonomią przy zachowaniu egzekwowalnych ograniczeń. Łączy on określanie zakresu uprawnień agenta przed wdrożeniem, nadawanie każdemu agentowi weryfikowalnej tożsamości, egzekwowanie granic w czasie działania poprzez bramki polityk oraz obserwację zachowania agenta po fakcie. Framework opiera się na automatycznym wnioskowaniu (dowodzie matematycznym) dla precyzyjnie określonych reguł oraz na ludzkim osądzie w niejednoznacznych przypadkach, wykorzystując narzędzia AWS: Bedrock AgentCore, Guardrails, Kiro, Strands, Agent Registry i CloudWatch Omni.
AWS opisuje nową dwuetapową architekturę kontroli dostępu dla Retrieval Augmented Generation (RAG) w Amazon Quick i Amazon Bedrock Knowledge Bases. Zamiast polegać wyłącznie na okresowo synchronizowanych listach kontroli dostępu (ACL), system teraz weryfikuje uprawnienia w czasie rzeczywistym bezpośrednio w systemie źródłowym (np. Google Drive, SharePoint, Confluence) w momencie zapytania, zanim treść trafi do LLM. AWS twierdzi, że eliminuje to luki bezpieczeństwa wynikające z nieaktualnych lub błędnie zmapowanych uprawnień między synchronizacjami. Jako klienta wymieniono Mondelēz International, zatrudniającą ponad 35 000 pracowników.