Amazon SageMaker AI monitoruje teraz punkty końcowe wnioskowania, aby identyfikować wzrosty opóźnień, nieużywane zasoby GPU oraz brakujące optymalizacje wydajności. Funkcja wykorzystuje środowisko agentowe w SageMaker Studio, aby pomóc w przeprowadzaniu testów porównawczych i rozwiązywaniu problemów bez konieczności ręcznej konfiguracji.
Firma Amazon wprowadziła Global Inference Gateway dla SageMaker HyperPod, umożliwiając użycie jednego punktu końcowego do routingu zapytań między wieloma klastrami i regionami AWS. Brama zarządza ruchem w oparciu o sygnały o stanie klastra w czasie rzeczywistym, takie jak wykorzystanie pamięci podręcznej KV i głębokość kolejki, automatyzując przełączanie awaryjne między regionami.
Amazon Textract Insights udostępnia teraz funkcje generatywnej sztucznej inteligencji, które umożliwiają ekstrakcję strukturalnych danych z dokumentów, oferując jednocześnie wskaźniki pewności (confidence scores) oraz wskazanie źródła informacji na stronie. Narzędzie automatycznie rozdziela mieszane pakiety dokumentów i dopasowuje je do zdefiniowanych wzorców.
AWS wprowadziło API GetScopedCredentials, umożliwiające dynamiczne ograniczanie uprawnień tymczasowych poświadczeń. Pozwala to na przyznawanie agentom AI lub ich podprocesom dostępu ściśle ograniczonego do wymagań konkretnego zadania, zamiast korzystania z szerokich uprawnień sesji nadrzędnej.
Google rozszerzyło usługę wykrywania anomalii agentów (Agent Anomaly Detection), aby obsługiwała agentów działających poza Google Cloud, takich jak AWS Lambda czy Microsoft Foundry. Usługa wykorzystuje telemetrię i logi do identyfikacji odstępstw od normy w zachowaniu, nieautoryzowanego użycia narzędzi lub wyczerpywania zasobów, bez potrzeby dostępu do środowiska uruchomieniowego.
Firma Exa zoptymalizowała swoje potoki tworzenia embeddingów, osiągając 47% poprawę efektywności kosztowej na chipach AWS Inferentia2 i Trainium2. Dzięki zastosowaniu dostosowanych jąder NKI (Neuron Kernel Interface) oraz metodologii programistycznej opartej na agentach, zespół znacząco poprawił utylizację sprzętu.
Amazon Bedrock AgentCore Identity umożliwia teraz agentom uwierzytelnianie u dostawców tożsamości za pomocą prywatnych urzędów certyfikacji (CA). Aktualizacja eliminuje potrzebę wystawiania publicznych punktów końcowych dla usług hostowanych wewnętrznie, takich jak Keycloak czy PingFederate.
Moonshot AI zaktualizowało Kimi Code CLI do wersji 2.7.0, wprowadzając natywnego dostawcę Amazon Bedrock. Pozwala to programistom na uwierzytelnianie przy użyciu standardowych łańcuchów poświadczeń AWS oraz SSO, zamiast zarządzania oddzielnymi, długoterminowymi kluczami API.
Amazon SageMaker AI obsługuje teraz natywny routing wnioskowania między regionami (cross-Region inference routing), co pozwala na automatyczne przekierowywanie ruchu do działających punktów końcowych w innych regionach w przypadku niedoborów mocy obliczeniowej. Funkcja ta zarządza przełączaniem awaryjnym, monitorowaniem stanu i przywracaniem ruchu bez konieczności tworzenia własnego kodu.
Amazon Polly udostępniło narzędzie do klonowania głosu, które tworzy syntetyczne brzmienia na podstawie zaledwie 2–10 minut nagrań. Funkcja ta jest dostępna w ramach ograniczonej dystrybucji dla siedmiu języków i integruje się bezpośrednio z usługami AWS, zapewniając bezpieczne zarządzanie własnymi zasobami głosowymi.
Amazon Bedrock AgentCore zaktualizował swój podstawowy szkielet do technologii Strands. Wprowadzono wbudowane możliwości, takie jak wyszukiwanie w sieci, planowanie zadań i automatyczne zarządzanie kontekstem, a także nowe haki cyklu życia (lifecycle hooks) umożliwiające deterministyczną kontrolę nad agentami.
Firma Amazon opublikowała wzorcową architekturę łączenia Bedrock AgentCore z prywatnymi interfejsami REST API oraz serwerami MCP w restrykcyjnych środowiskach sieciowych. Dzięki zastosowaniu bramy zasobów (resource gateway) VPC Lattice umieszczonej w dedykowanym VPC konta sieciowego, ruch między agentami a narzędziami wewnętrznymi jest wymuszany przez centralną zaporę sieciową.
AWS przedstawia trzy strategie zarządzania masywnymi danymi JSON (ponad 20 MB) w agentach AI, osiągając redukcję zużycia tokenów do 71% i opóźnień do 80%. Podejście obejmuje przeniesienie stanu do Amazon S3, stronicowanie wyników oraz kompaktowanie danych słownikowych.
Firma Amazon opublikowała przewodnik bezpieczeństwa dla wdrażania agentów AI w środowisku Bedrock AgentCore Runtime, kładąc nacisk na rygorystyczną kontrolę wejściową. Przewodnik szczegółowo omawia zapobieganie wyciekom danych między najemcami oraz eskalacji uprawnień poprzez propagację tożsamości i autoryzację warstwową.
Amazon wprowadził nowe możliwości przygotowywania danych oparte na AI w platformie SageMaker, usprawniając tworzenie i utrzymywanie wysokiej jakości zbiorów danych treningowych i ewaluacyjnych. Funkcje obejmują automatyczne etykietowanie, generowanie danych syntetycznych i zautomatyzowane kontrole jakości, sterowane przez Python SDK lub agentów AI.
AWS wprowadziło zarządzane wsparcie dla NVIDIA Dynamo w SageMaker HyperPod, co upraszcza wdrożenia wielkoskalowych modeli językowych. Aktualizacja wprowadza inferencję wielowęzłową, umożliwiając obsługę modeli przekraczających pamięć pojedynczego GPU dzięki rozdzieleniu faz prefill i decode.
Amazon SageMaker AI wprowadziło strategię routingu 'KV_AWARE', która kieruje zapytania LLM do instancji na podstawie stanu ich pamięci podręcznej KV, a nie tylko nagłówków promptów. Optymalizuje to wieloetapowe konwersacje i długie konteksty, zapewniając obsługę zapytań tam, gdzie dane są już dostępne w pamięci GPU.
Amazon Bedrock uruchomił nową funkcję obsługi pamięci dla AgenticRetrieveStream. Automatyzuje ona przechowywanie, ekstrakcję i przywoływanie faktów oraz historii rozmów użytkownika, co pozwala agentom udzielać odpowiedzi świadomych kontekstu przy zachowaniu rygorystycznej kontroli dostępu do dokumentów.
Amazon opublikował architekturę referencyjną integrującą bibliotekę NVIDIA NeMo Switchyard z LiteLLM w celu dynamicznego kierowania zapytań agentów programistycznych między różnymi modelami w Bedrock. Stosując routing warstwowy (stage) lub losowy (random), możesz przekierowywać ruch między modelami o wysokiej wydajności a modelami ekonomicznymi, balansując koszty i skuteczność.
Firma Amazon udostępniła SGLang-Neuron – wtyczkę, która pozwala programistom uruchamiać wielkoskalowe modele AI na sprzęcie AWS Trainium przy użyciu standardowego interfejsu SGLang. Integracja ta umożliwia natywne wykonywanie kodu PyTorch i wspiera zaawansowane funkcje, takie jak PD disaggregation za pośrednictwem EFA, w celu optymalizacji serwowania modeli.
Amazon wprowadził nową generację środowiska wykonawczego dla Bedrock AgentCore, przeznaczoną do obsługi złożonych i długotrwałych zadań AI. Aktualizacja wprowadza izolowane sprzętowo środowiska z szybszym uruchamianiem, większymi zasobami obliczeniowymi oraz lepszą efektywnością kosztową dzięki rozliczaniu opartemu na rzeczywistym zużyciu.
Amazon wprowadził wzorzec zabezpieczania agentów AI obsługujących wielu użytkowników poprzez ograniczenie zasięgu zapytań RAG do konkretnych osób. Rozwiązanie wykorzystuje bazy wiedzy z obsługą list kontroli dostępu (ACL) oraz przechwytywacz zapytań w bramie AgentCore Gateway, który deterministycznie wstrzykuje zweryfikowane tożsamości użytkowników do wywołań narzędzi, zapobiegając dostępowi do nieautoryzowanych danych przez LLM.
Amazon udostępnił interfejs API do wyszukiwania w sieci w ramach Bedrock AgentCore, co pozwala deweloperom na wykonywanie zapytań przez standardowe AWS SDK i CLI. To rozwiązanie eliminuje konieczność konfiguracji bramy AgentCore Gateway, ułatwiając implementację funkcji wyszukiwania w niestandardowych agentach AI.
AWS opublikowało przewodnik tworzenia architektury sterowanej zdarzeniami, która automatycznie synchronizuje schematy narzędzi Model Context Protocol (MCP) z AWS Agent Registry. Wykorzystując AWS CloudTrail, EventBridge i Lambda, ten proces wykrywa zmiany w czasie wykonywania i aktualizuje rejestr za każdym razem, gdy ewoluuje schemat narzędzi serwera MCP.