Amazon opublikował architekturę referencyjną integrującą bibliotekę NVIDIA NeMo Switchyard z LiteLLM w celu dynamicznego kierowania zapytań agentów programistycznych między różnymi modelami w Bedrock. Stosując routing warstwowy (stage) lub losowy (random), możesz przekierowywać ruch między modelami o wysokiej wydajności a modelami ekonomicznymi, balansując koszty i skuteczność.
Firma Amazon udostępniła SGLang-Neuron – wtyczkę, która pozwala programistom uruchamiać wielkoskalowe modele AI na sprzęcie AWS Trainium przy użyciu standardowego interfejsu SGLang. Integracja ta umożliwia natywne wykonywanie kodu PyTorch i wspiera zaawansowane funkcje, takie jak PD disaggregation za pośrednictwem EFA, w celu optymalizacji serwowania modeli.
Amazon udostępnił interfejs API do wyszukiwania w sieci w ramach Bedrock AgentCore, co pozwala deweloperom na wykonywanie zapytań przez standardowe AWS SDK i CLI. To rozwiązanie eliminuje konieczność konfiguracji bramy AgentCore Gateway, ułatwiając implementację funkcji wyszukiwania w niestandardowych agentach AI.
Moonshot AI udostępniło Kimi K3.1 Pro Highspeed w Amazon Bedrock, model zoptymalizowany pod kątem złożonych zadań agentowych i programowania. Model ten oferuje 2–3-krotnie większą prędkość generowania niż wersja standardowa, posiada konfigurowalne możliwości wnioskowania, obsługę wywołań narzędzi oraz funkcję „explicit prompt caching” dla optymalizacji kosztów.
Amazon wprowadził Mitra-v2, podstawowy model dla danych tabelarycznych trenowany w całości na danych syntetycznych. Ta wersja przewyższa poprzednika dzięki przeskalowaniu danych treningowych oraz wprowadzeniu hybrydowego modelu przyczynowego (SCM), który lepiej odwzorowuje rzeczywiste relacje w danych.
Amazon rozszerzył możliwości API AgenticRetrieveStream, pozwalając programistom określić poziom iteracji dla zapytań do bazy wiedzy. Teraz możesz wybierać między zerem, jednym lub wieloma krokami wyszukiwania, aby zrównoważyć szybkość, koszt i złożoność każdego zapytania.
Amazon opublikował metodologię wykorzystania destylacji wiedzy na poziomie sekwencji (SeqKD) do dostrajania mniejszych modeli na trajektoriach wygenerowanych przez modele typu frontier. Dzięki wykorzystaniu modelu „nauczyciela” do generowania udanych trajektorii użycia narzędzi oraz filtrowaniu ich za pomocą programowego skorelowania, zespoły mogą trenować kompaktowe modele „uczniów”, które realizują złożone rozumowanie przy ułamku kosztów.
NVIDIA wprowadziła Nemotron 3.5 Super VL, multimodalny model 120B z oknem kontekstowym 1M tokenów. Model wykorzystuje hybrydową architekturę Mamba-2 oraz MoE, aby zrównoważyć możliwości rozumowania z wydajnością wnioskowania, i jest gotowy do wdrożenia w środowiskach Amazon EKS oraz SageMaker HyperPod.
Amazon Bedrock obsługuje teraz jawne i niejawne buforowanie promptów dla modeli OpenAI, umożliwiając przechowywanie i ponowne wykorzystywanie statycznych prefiksów, takich jak narzędzia, instrukcje i historia konwersacji. Unikając ponownego przetwarzania identycznych tokenów w każdej turze, można znacząco obniżyć koszty wejściowe i zwiększyć responsywność złożonych procesów agentowych.
Cohere wypuściło najnowszą generację modeli do rerankingu dla firm, Rerank 5, w wersjach Pro i Fast. Rerank 5 Pro przoduje w głównych publicznych benchmarkach, w tym BRIGHT, ViDoRe V3, BEIR i nanoMTEB, a Rerank 5 Fast oferuje niemal tak samo wysoką jakość przy niższym koszcie i wyższej przepustowości. Nowością jest funkcja Context Focus, która zwraca najbardziej istotne fragmenty tekstu w dokumentach zamiast całych dokumentów, oraz skalibrowane wyniki trafności, które działają jak prawdopodobieństwa w różnych modelach i domenach.
Anthropic wypuściło Claude Haiku 5.5 (claude-haiku-5-5) — najbardziej zaawansowany model z linii Haiku, zaprojektowany do pracy przy dużym obciążeniu i wrażliwej na opóźnienia. Obsługuje okno kontekstu 1 miliona tokenów, do 128k tokenów wyjściowych oraz adaptacyjne rozumowanie sterowane nowym parametrem effort. Model jest dostępny w Claude API, Amazon Bedrock, Claude Platform on AWS, Google Cloud oraz Microsoft Foundry. Anthropic ostrzega, że kod napisany dla poprzedniego modelu Haiku 4.5 może nie działać w nowej wersji.
GLM 5.3 od Z.ai to model mixture-of-experts z 753 miliardami parametrów, zoptymalizowany pod kodowanie i długotrwałe zadania agentowe, dostępny teraz jako w pełni zarządzany model w Amazon Bedrock. Rozwija linię GLM 5 lepszymi wynikami benchmarków kodowania, wyróżniającymi się możliwościami cyberbezpieczeństwa (wynik CyberGym 84,5) oraz głębszą integracją z Bedrock, w tym API zgodnymi z OpenAI, buforowaniem promptów, wnioskowaniem między regionami i poziomami usług. AWS pokazuje też, jak użyć GLM 5.3 z open-source'owym agentem Strix do autoryzowanych testów penetracyjnych własnych aplikacji.