Amazon SageMaker AI obsługuje teraz natywny routing wnioskowania między regionami (cross-Region inference routing), co pozwala na automatyczne przekierowywanie ruchu do działających punktów końcowych w innych regionach w przypadku niedoborów mocy obliczeniowej. Funkcja ta zarządza przełączaniem awaryjnym, monitorowaniem stanu i przywracaniem ruchu bez konieczności tworzenia własnego kodu.
Amazon Polly udostępniło narzędzie do klonowania głosu, które tworzy syntetyczne brzmienia na podstawie zaledwie 2–10 minut nagrań. Funkcja ta jest dostępna w ramach ograniczonej dystrybucji dla siedmiu języków i integruje się bezpośrednio z usługami AWS, zapewniając bezpieczne zarządzanie własnymi zasobami głosowymi.
Amazon Bedrock AgentCore zaktualizował swój podstawowy szkielet do technologii Strands. Wprowadzono wbudowane możliwości, takie jak wyszukiwanie w sieci, planowanie zadań i automatyczne zarządzanie kontekstem, a także nowe haki cyklu życia (lifecycle hooks) umożliwiające deterministyczną kontrolę nad agentami.
Firma Amazon opublikowała wzorcową architekturę łączenia Bedrock AgentCore z prywatnymi interfejsami REST API oraz serwerami MCP w restrykcyjnych środowiskach sieciowych. Dzięki zastosowaniu bramy zasobów (resource gateway) VPC Lattice umieszczonej w dedykowanym VPC konta sieciowego, ruch między agentami a narzędziami wewnętrznymi jest wymuszany przez centralną zaporę sieciową.
AWS przedstawia trzy strategie zarządzania masywnymi danymi JSON (ponad 20 MB) w agentach AI, osiągając redukcję zużycia tokenów do 71% i opóźnień do 80%. Podejście obejmuje przeniesienie stanu do Amazon S3, stronicowanie wyników oraz kompaktowanie danych słownikowych.
Firma Amazon opublikowała przewodnik bezpieczeństwa dla wdrażania agentów AI w środowisku Bedrock AgentCore Runtime, kładąc nacisk na rygorystyczną kontrolę wejściową. Przewodnik szczegółowo omawia zapobieganie wyciekom danych między najemcami oraz eskalacji uprawnień poprzez propagację tożsamości i autoryzację warstwową.
Amazon wprowadził nowe możliwości przygotowywania danych oparte na AI w platformie SageMaker, usprawniając tworzenie i utrzymywanie wysokiej jakości zbiorów danych treningowych i ewaluacyjnych. Funkcje obejmują automatyczne etykietowanie, generowanie danych syntetycznych i zautomatyzowane kontrole jakości, sterowane przez Python SDK lub agentów AI.
AWS wprowadziło zarządzane wsparcie dla NVIDIA Dynamo w SageMaker HyperPod, co upraszcza wdrożenia wielkoskalowych modeli językowych. Aktualizacja wprowadza inferencję wielowęzłową, umożliwiając obsługę modeli przekraczających pamięć pojedynczego GPU dzięki rozdzieleniu faz prefill i decode.
Amazon SageMaker AI wprowadziło strategię routingu 'KV_AWARE', która kieruje zapytania LLM do instancji na podstawie stanu ich pamięci podręcznej KV, a nie tylko nagłówków promptów. Optymalizuje to wieloetapowe konwersacje i długie konteksty, zapewniając obsługę zapytań tam, gdzie dane są już dostępne w pamięci GPU.
Amazon Bedrock uruchomił nową funkcję obsługi pamięci dla AgenticRetrieveStream. Automatyzuje ona przechowywanie, ekstrakcję i przywoływanie faktów oraz historii rozmów użytkownika, co pozwala agentom udzielać odpowiedzi świadomych kontekstu przy zachowaniu rygorystycznej kontroli dostępu do dokumentów.
Amazon opublikował architekturę referencyjną integrującą bibliotekę NVIDIA NeMo Switchyard z LiteLLM w celu dynamicznego kierowania zapytań agentów programistycznych między różnymi modelami w Bedrock. Stosując routing warstwowy (stage) lub losowy (random), możesz przekierowywać ruch między modelami o wysokiej wydajności a modelami ekonomicznymi, balansując koszty i skuteczność.
Firma Amazon udostępniła SGLang-Neuron – wtyczkę, która pozwala programistom uruchamiać wielkoskalowe modele AI na sprzęcie AWS Trainium przy użyciu standardowego interfejsu SGLang. Integracja ta umożliwia natywne wykonywanie kodu PyTorch i wspiera zaawansowane funkcje, takie jak PD disaggregation za pośrednictwem EFA, w celu optymalizacji serwowania modeli.
Amazon wprowadził nową generację środowiska wykonawczego dla Bedrock AgentCore, przeznaczoną do obsługi złożonych i długotrwałych zadań AI. Aktualizacja wprowadza izolowane sprzętowo środowiska z szybszym uruchamianiem, większymi zasobami obliczeniowymi oraz lepszą efektywnością kosztową dzięki rozliczaniu opartemu na rzeczywistym zużyciu.
Amazon wprowadził wzorzec zabezpieczania agentów AI obsługujących wielu użytkowników poprzez ograniczenie zasięgu zapytań RAG do konkretnych osób. Rozwiązanie wykorzystuje bazy wiedzy z obsługą list kontroli dostępu (ACL) oraz przechwytywacz zapytań w bramie AgentCore Gateway, który deterministycznie wstrzykuje zweryfikowane tożsamości użytkowników do wywołań narzędzi, zapobiegając dostępowi do nieautoryzowanych danych przez LLM.
Amazon udostępnił interfejs API do wyszukiwania w sieci w ramach Bedrock AgentCore, co pozwala deweloperom na wykonywanie zapytań przez standardowe AWS SDK i CLI. To rozwiązanie eliminuje konieczność konfiguracji bramy AgentCore Gateway, ułatwiając implementację funkcji wyszukiwania w niestandardowych agentach AI.
Amazon umożliwił rozliczanie oprogramowania w modelu usage-based dla modeli działających w ramach dwukierunkowego streamingu w SageMaker AI. Wcześniej naliczanie opłat za długotrwałe sesje streamingowe było utrudnione, ponieważ nie można było ich powiązać z prostymi nagłówkami odpowiedzi HTTP. Teraz dostawcy modeli mogą raportować wykorzystanie w czasie rzeczywistym za pomocą dedykowanego połączenia WebSocket z metadanymi.
Amazon rozszerzył możliwości API AgenticRetrieveStream, pozwalając programistom określić poziom iteracji dla zapytań do bazy wiedzy. Teraz możesz wybierać między zerem, jednym lub wieloma krokami wyszukiwania, aby zrównoważyć szybkość, koszt i złożoność każdego zapytania.
Firma Amazon udostępniła wielowarstwową architekturę obronną, zapobiegającą zatruwaniu pamięci (rodzaj pośredniego wstrzykiwania promptów) w agentach AI wykorzystujących pamięć trwałą. Rozwiązanie wykorzystuje interceptor Lambda w bramie AgentCore Gateway do walidacji zapisów w oparciu o dryf semantyczny, wzorce regex, granice przestrzeni nazw i limity częstotliwości.
Firma Taxbit wdrożyła bezpiecznego, świadomego ról asystenta AI przy użyciu Amazon Bedrock AgentCore, aby zautomatyzować wsparcie w oparciu o dokumentację produktu. Agent wykorzystuje RAG do opierania odpowiedzi na zweryfikowanych treściach, jednocześnie rygorystycznie egzekwując maskowanie PII, regionalną rezydencję danych oraz uprawnienia oparte na rolach użytkowników.
Firma Amazon udostępniła Web Answer w ramach Bedrock AgentCore – zarządzane narzędzie, które upraszcza badania internetowe prowadzone przez agentów. Automatyzuje ono cały potok, od wyszukiwania i weryfikacji faktów po syntezę odpowiedzi z cytatami, dostarczając wyniki przez MCP.
Firma Cartesia wprowadziła dwa modele do zastosowań głosowych: Sonic (zamiana tekstu na mowę) oraz Ink (zamiana mowy na tekst). Zbudowane w oparciu o architekturę State Space Model (SSM), modele te zostały zaprojektowane z myślą o ultra-niskich opóźnieniach i wydajności w czasie rzeczywistym, co jest kluczowe dla profesjonalnych agentów głosowych.
Amazon Bedrock AgentCore wspiera teraz „Session endpoints”, umożliwiając programistom podgląd i interakcję z aplikacjami internetowymi w trakcie ich tworzenia przez agenta AI. Dzięki kierowaniu ruchu przez uwierzytelnioną, izolowaną sesję microVM, zmiany w przeglądarce pojawiają się natychmiast, bez konieczności przeprowadzania osobnych wdrożeń.
NVIDIA wprowadziła Nemotron 3.5 Super VL, multimodalny model 120B z oknem kontekstowym 1M tokenów. Model wykorzystuje hybrydową architekturę Mamba-2 oraz MoE, aby zrównoważyć możliwości rozumowania z wydajnością wnioskowania, i jest gotowy do wdrożenia w środowiskach Amazon EKS oraz SageMaker HyperPod.
AWS wprowadziło gotowe kontenery Ray Train Deep Learning (DLC), które integrują biblioteki PyTorch, CUDA, NCCL oraz EFA w jednym przetestowanym obrazie. To podejście pozwala Twojej firmie wdrażać klastry do uczenia rozproszonego na Amazon EKS bez konieczności utrzymywania własnych potoków budowania obrazów czy rozwiązywania złożonych problemów z kompatybilnością sterowników.