Google udostępniło Agent Substrate 1.0, platformę open-source do obsługi sesji agentów AI w środowisku Kubernetes. Dzięki oddzieleniu sesji stanowych od zasobów obliczeniowych, możliwe jest „parkowanie” bezczynnych agentów w pamięci obiektowej, co zwalnia zasoby węzłów roboczych.
Amazon opublikował architekturę referencyjną integrującą bibliotekę NVIDIA NeMo Switchyard z LiteLLM w celu dynamicznego kierowania zapytań agentów programistycznych między różnymi modelami w Bedrock. Stosując routing warstwowy (stage) lub losowy (random), możesz przekierowywać ruch między modelami o wysokiej wydajności a modelami ekonomicznymi, balansując koszty i skuteczność.
Amazon opublikował metodologię wykorzystania destylacji wiedzy na poziomie sekwencji (SeqKD) do dostrajania mniejszych modeli na trajektoriach wygenerowanych przez modele typu frontier. Dzięki wykorzystaniu modelu „nauczyciela” do generowania udanych trajektorii użycia narzędzi oraz filtrowaniu ich za pomocą programowego skorelowania, zespoły mogą trenować kompaktowe modele „uczniów”, które realizują złożone rozumowanie przy ułamku kosztów.
Responses API od OpenAI obsługuje teraz opcjonalne 12-godzinne buforowanie promptów, które dłużej przechowuje współdzielone instrukcje, narzędzia i kontekst, dzięki czemu powtarzające się zapytania oddalone o kilka godzin nadal korzystają z tańszej ceny dla zbuforowanych danych wejściowych. Zapis do tego dłuższego bufora kosztuje 2,5 razy więcej niż standardowa cena tokenów wejściowych. To opcja dodatkowa obok istniejącego krótszego domyślnego bufora.
Cohere zbudowało kontrolowane środowisko testowe, aby zbadać, jak powinny być organizowane zespoły agentów kodujących — testując, gdzie deleguje się pracę, jak agent wiodący czeka na pracowników, jakie modele pełnią jakie role, wielkość zespołu i wzorce komunikacji. W teście ProgramBench dobrze zorganizowane zespoły przewyższyły pojedyncze agenty nawet o ~10 punktów procentowych, ale kosztowały 3–7 razy więcej. Kluczowy wniosek: delegowanie pracownikom wyłącznie eksploracji i planowania dało taki sam wynik jak delegowanie wszystkich etapów (implementacji i weryfikacji) za połowę kosztu, a silny agent wiodący z 16 tanimi pracownikami planowania osiągnął wynik 61,8% wobec 63,2% dla zespołu złożonego z samych silnych modeli, obniżając koszt z 510 do 155 dolarów.
Google Cloud ogłosił Gemini agent – zunifikowanego agenta łączącego czat, pracę wiedzową, tworzenie treści i kodowanie w jednym interfejsie, dostępnym z różnych urządzeń i kanałów. Działa bezpośrednio w Gmail, Docs, Sheets, Slides, Chat i Calendar, łączy się z narzędziami firmowymi i bazami danych przez MCP oraz rejestr narzędzi, a także orkiestruje wiele modeli – w tym rodzinę Gemini od Google i Claude od Anthropic – aby równoważyć jakość i koszty. Google przedstawił też funkcje bezpieczeństwa/zarządzania, mechanizmy kontroli kosztów takie jak Smart Routing i limity wydatków oraz wyniki klientów, np. BNP Paribas, Bradesco i Orange Spain.