Amazon opublikował architekturę referencyjną integrującą bibliotekę NVIDIA NeMo Switchyard z LiteLLM w celu dynamicznego kierowania zapytań agentów programistycznych między różnymi modelami w Bedrock. Stosując routing warstwowy (stage) lub losowy (random), możesz przekierowywać ruch między modelami o wysokiej wydajności a modelami ekonomicznymi, balansując koszty i skuteczność.
Firma Amazon udostępniła SGLang-Neuron – wtyczkę, która pozwala programistom uruchamiać wielkoskalowe modele AI na sprzęcie AWS Trainium przy użyciu standardowego interfejsu SGLang. Integracja ta umożliwia natywne wykonywanie kodu PyTorch i wspiera zaawansowane funkcje, takie jak PD disaggregation za pośrednictwem EFA, w celu optymalizacji serwowania modeli.
Amazon wprowadził nową generację środowiska wykonawczego dla Bedrock AgentCore, przeznaczoną do obsługi złożonych i długotrwałych zadań AI. Aktualizacja wprowadza izolowane sprzętowo środowiska z szybszym uruchamianiem, większymi zasobami obliczeniowymi oraz lepszą efektywnością kosztową dzięki rozliczaniu opartemu na rzeczywistym zużyciu.
Amazon wprowadził wzorzec zabezpieczania agentów AI obsługujących wielu użytkowników poprzez ograniczenie zasięgu zapytań RAG do konkretnych osób. Rozwiązanie wykorzystuje bazy wiedzy z obsługą list kontroli dostępu (ACL) oraz przechwytywacz zapytań w bramie AgentCore Gateway, który deterministycznie wstrzykuje zweryfikowane tożsamości użytkowników do wywołań narzędzi, zapobiegając dostępowi do nieautoryzowanych danych przez LLM.
Amazon udostępnił interfejs API do wyszukiwania w sieci w ramach Bedrock AgentCore, co pozwala deweloperom na wykonywanie zapytań przez standardowe AWS SDK i CLI. To rozwiązanie eliminuje konieczność konfiguracji bramy AgentCore Gateway, ułatwiając implementację funkcji wyszukiwania w niestandardowych agentach AI.
AWS opublikowało przewodnik tworzenia architektury sterowanej zdarzeniami, która automatycznie synchronizuje schematy narzędzi Model Context Protocol (MCP) z AWS Agent Registry. Wykorzystując AWS CloudTrail, EventBridge i Lambda, ten proces wykrywa zmiany w czasie wykonywania i aktualizuje rejestr za każdym razem, gdy ewoluuje schemat narzędzi serwera MCP.
Amazon umożliwił rozliczanie oprogramowania w modelu usage-based dla modeli działających w ramach dwukierunkowego streamingu w SageMaker AI. Wcześniej naliczanie opłat za długotrwałe sesje streamingowe było utrudnione, ponieważ nie można było ich powiązać z prostymi nagłówkami odpowiedzi HTTP. Teraz dostawcy modeli mogą raportować wykorzystanie w czasie rzeczywistym za pomocą dedykowanego połączenia WebSocket z metadanymi.
Amazon rozszerzył możliwości API AgenticRetrieveStream, pozwalając programistom określić poziom iteracji dla zapytań do bazy wiedzy. Teraz możesz wybierać między zerem, jednym lub wieloma krokami wyszukiwania, aby zrównoważyć szybkość, koszt i złożoność każdego zapytania.
Firma Amazon udostępniła wielowarstwową architekturę obronną, zapobiegającą zatruwaniu pamięci (rodzaj pośredniego wstrzykiwania promptów) w agentach AI wykorzystujących pamięć trwałą. Rozwiązanie wykorzystuje interceptor Lambda w bramie AgentCore Gateway do walidacji zapisów w oparciu o dryf semantyczny, wzorce regex, granice przestrzeni nazw i limity częstotliwości.