Firma Aionic Labs wprowadziła OpenTSLM-Flamingo, model językowy szeregów czasowych (TSLM), który można wdrażać za pośrednictwem Amazon SageMaker JumpStart. Łączy on architekturę Gemma 3 4B z enkoderem szeregów czasowych, aby interpretować wskaźniki operacyjne wraz z kontekstem tekstowym.
AWS wprowadziło zarządzane wsparcie dla NVIDIA Dynamo w SageMaker HyperPod, co upraszcza wdrożenia wielkoskalowych modeli językowych. Aktualizacja wprowadza inferencję wielowęzłową, umożliwiając obsługę modeli przekraczających pamięć pojedynczego GPU dzięki rozdzieleniu faz prefill i decode.
Amazon SageMaker AI wprowadziło strategię routingu 'KV_AWARE', która kieruje zapytania LLM do instancji na podstawie stanu ich pamięci podręcznej KV, a nie tylko nagłówków promptów. Optymalizuje to wieloetapowe konwersacje i długie konteksty, zapewniając obsługę zapytań tam, gdzie dane są już dostępne w pamięci GPU.
Amazon opublikował architekturę referencyjną integrującą bibliotekę NVIDIA NeMo Switchyard z LiteLLM w celu dynamicznego kierowania zapytań agentów programistycznych między różnymi modelami w Bedrock. Stosując routing warstwowy (stage) lub losowy (random), możesz przekierowywać ruch między modelami o wysokiej wydajności a modelami ekonomicznymi, balansując koszty i skuteczność.
Amazon wprowadził model OpenFold3-preview do SageMaker JumpStart, umożliwiając użytkownikom przewidywanie struktur 3D białek, DNA, RNA i ligandów. Wdrożenie wykorzystuje asynchroniczne punkty końcowe do obsługi długotrwałych obliczeń, wspierając automatyczne skalowanie oraz możliwość wyłączenia instancji w stanie bezczynności.
Firma Amazon udostępniła SGLang-Neuron – wtyczkę, która pozwala programistom uruchamiać wielkoskalowe modele AI na sprzęcie AWS Trainium przy użyciu standardowego interfejsu SGLang. Integracja ta umożliwia natywne wykonywanie kodu PyTorch i wspiera zaawansowane funkcje, takie jak PD disaggregation za pośrednictwem EFA, w celu optymalizacji serwowania modeli.
Amazon udostępnił interfejs API do wyszukiwania w sieci w ramach Bedrock AgentCore, co pozwala deweloperom na wykonywanie zapytań przez standardowe AWS SDK i CLI. To rozwiązanie eliminuje konieczność konfiguracji bramy AgentCore Gateway, ułatwiając implementację funkcji wyszukiwania w niestandardowych agentach AI.