Przejdź do treści
poniedziałek, 23 listopada 2026
Tenesys AI News
Subskrypcja

Wszystkie wiadomości

TENESYS AI NEWS śledzi najważniejsze wiadomości o AI i wyjaśnia, co się zmieniło, dlaczego to ważne i czy technologię warto przetestować.

#Cost Optimization — 7 artykułów ✕

Modele· Ważne· 🧪 Warte przetestowania

Optymalizacja kosztów agentów kodujących w Amazon Bedrock dzięki NVIDIA NeMo Switchyard

Amazon opublikował architekturę referencyjną integrującą bibliotekę NVIDIA NeMo Switchyard z LiteLLM w celu dynamicznego kierowania zapytań agentów programistycznych między różnymi modelami w Bedrock. Stosując routing warstwowy (stage) lub losowy (random), możesz przekierowywać ruch między modelami o wysokiej wydajności a modelami ekonomicznymi, balansując koszty i skuteczność.

AWS Machine Learning
Modele· Ważne· 🧪 Warte przetestowania

Skalowanie wydajnych agentów poprzez destylację wiedzy w Amazon SageMaker

Amazon opublikował metodologię wykorzystania destylacji wiedzy na poziomie sekwencji (SeqKD) do dostrajania mniejszych modeli na trajektoriach wygenerowanych przez modele typu frontier. Dzięki wykorzystaniu modelu „nauczyciela” do generowania udanych trajektorii użycia narzędzi oraz filtrowaniu ich za pomocą programowego skorelowania, zespoły mogą trenować kompaktowe modele „uczniów”, które realizują złożone rozumowanie przy ułamku kosztów.

AWS Machine Learning
Agenci· 🧪 Warte przetestowania

AWS pokazuje hybrydowy framework agentów łączący lokalne i chmurowe modele dla obniżenia kosztów

AWS opublikował przewodnik po Adaptive Agentic Intelligence Framework (AAIF), zbudowanym na Strands Agents, który kieruje proste zapytania do małych lokalnych modeli (przez Ollama), a złożone zapytania do modeli chmurowych przez Amazon Bedrock. Lekki model o 1 miliardzie parametrów (llama3.2:1b) działa jako orkiestrator decydujący, gdzie skierować każde zapytanie; w przykładzie agent monitorujący IoT korzysta z lokalnego pobierania telemetrii, lokalnej analizy wizyjnej i chmurowych ekspertnych analiz. AWS podaje, że w konfiguracji hybrydowej około 80 procent ruchu może być obsłużone lokalnie bez odwołania do płatnego API, a architektura może działać w pełni na sprzęcie brzegowym (np. Raspberry Pi z 8GB pamięci), w pełni w chmurze lub w trybie hybrydowym.

AWS Machine Learning
Modele· Ważne· 🧪 Warte przetestowania

OpenAI dodaje opcjonalne 12-godzinne buforowanie promptów w Responses API

Responses API od OpenAI obsługuje teraz opcjonalne 12-godzinne buforowanie promptów, które dłużej przechowuje współdzielone instrukcje, narzędzia i kontekst, dzięki czemu powtarzające się zapytania oddalone o kilka godzin nadal korzystają z tańszej ceny dla zbuforowanych danych wejściowych. Zapis do tego dłuższego bufora kosztuje 2,5 razy więcej niż standardowa cena tokenów wejściowych. To opcja dodatkowa obok istniejącego krótszego domyślnego bufora.

OpenAI API Changelog
Agenci· Ważne· 🧪 Warte przetestowania

Badanie Cohere: dobrze zorganizowane zespoły agentów przewyższają pojedyncze agenty kodujące za ułamek kosztów

Cohere zbudowało kontrolowane środowisko testowe, aby zbadać, jak powinny być organizowane zespoły agentów kodujących — testując, gdzie deleguje się pracę, jak agent wiodący czeka na pracowników, jakie modele pełnią jakie role, wielkość zespołu i wzorce komunikacji. W teście ProgramBench dobrze zorganizowane zespoły przewyższyły pojedyncze agenty nawet o ~10 punktów procentowych, ale kosztowały 3–7 razy więcej. Kluczowy wniosek: delegowanie pracownikom wyłącznie eksploracji i planowania dało taki sam wynik jak delegowanie wszystkich etapów (implementacji i weryfikacji) za połowę kosztu, a silny agent wiodący z 16 tanimi pracownikami planowania osiągnął wynik 61,8% wobec 63,2% dla zespołu złożonego z samych silnych modeli, obniżając koszt z 510 do 155 dolarów.

Cohere
Badania· 🧪 Warte przetestowania

Badacze Apple proponują samodzielnie decydującą kompaktyzację kontekstu dla długo działających agentów AI

Badacze Apple ML opublikowali artykuł na NeurIPS wprowadzający SELFCOMPACT – strukturę pozwalającą agentom opartym na modelach językowych samodzielnie decydować, kiedy i jak kompaktować zgromadzony kontekst, zamiast polegać na kompaktyzacji wyzwalanej w stałych odstępach na podstawie liczby tokenów. Metoda łączy narzędzie kompaktyzacji wywoływane przez model z lekkim zestawem reguł wskazujących, kiedy działać (gdy podzadanie zostało rozwiązane) i kiedy wstrzymać się (w trakcie wyprowadzania lub przy utknięciu). Testowana na sześciu benchmarkach i siedmiu modelach, dorównała lub przewyższyła kompaktyzację w stałych odstępach, zużywając znacznie mniej tokenów.

Apple Machine Learning
Agenci· Ważne· 🧪 Warte przetestowania

Google uruchamia „Gemini agent” – jednego uniwersalnego agenta AI do pracy w Workspace i systemach firmowych

Google Cloud ogłosił Gemini agent – zunifikowanego agenta łączącego czat, pracę wiedzową, tworzenie treści i kodowanie w jednym interfejsie, dostępnym z różnych urządzeń i kanałów. Działa bezpośrednio w Gmail, Docs, Sheets, Slides, Chat i Calendar, łączy się z narzędziami firmowymi i bazami danych przez MCP oraz rejestr narzędzi, a także orkiestruje wiele modeli – w tym rodzinę Gemini od Google i Claude od Anthropic – aby równoważyć jakość i koszty. Google przedstawił też funkcje bezpieczeństwa/zarządzania, mechanizmy kontroli kosztów takie jak Smart Routing i limity wydatków oraz wyniki klientów, np. BNP Paribas, Bradesco i Orange Spain.

Google Cloud AI