Przejdź do treści
poniedziałek, 23 listopada 2026
Tenesys AI News
Subskrypcja

Wszystkie wiadomości

TENESYS AI NEWS śledzi najważniejsze wiadomości o AI i wyjaśnia, co się zmieniło, dlaczego to ważne i czy technologię warto przetestować.

#Cost Optimization — 5 artykułów ✕

Modele· Ważne· 🧪 Warte przetestowania

Optymalizacja kosztów agentów kodujących w Amazon Bedrock dzięki NVIDIA NeMo Switchyard

Amazon opublikował architekturę referencyjną integrującą bibliotekę NVIDIA NeMo Switchyard z LiteLLM w celu dynamicznego kierowania zapytań agentów programistycznych między różnymi modelami w Bedrock. Stosując routing warstwowy (stage) lub losowy (random), możesz przekierowywać ruch między modelami o wysokiej wydajności a modelami ekonomicznymi, balansując koszty i skuteczność.

AWS Machine Learning
Modele· Ważne· 🧪 Warte przetestowania

Skalowanie wydajnych agentów poprzez destylację wiedzy w Amazon SageMaker

Amazon opublikował metodologię wykorzystania destylacji wiedzy na poziomie sekwencji (SeqKD) do dostrajania mniejszych modeli na trajektoriach wygenerowanych przez modele typu frontier. Dzięki wykorzystaniu modelu „nauczyciela” do generowania udanych trajektorii użycia narzędzi oraz filtrowaniu ich za pomocą programowego skorelowania, zespoły mogą trenować kompaktowe modele „uczniów”, które realizują złożone rozumowanie przy ułamku kosztów.

AWS Machine Learning
Agenci· 🧪 Warte przetestowania

AWS pokazuje hybrydowy framework agentów łączący lokalne i chmurowe modele dla obniżenia kosztów

AWS opublikował przewodnik po Adaptive Agentic Intelligence Framework (AAIF), zbudowanym na Strands Agents, który kieruje proste zapytania do małych lokalnych modeli (przez Ollama), a złożone zapytania do modeli chmurowych przez Amazon Bedrock. Lekki model o 1 miliardzie parametrów (llama3.2:1b) działa jako orkiestrator decydujący, gdzie skierować każde zapytanie; w przykładzie agent monitorujący IoT korzysta z lokalnego pobierania telemetrii, lokalnej analizy wizyjnej i chmurowych ekspertnych analiz. AWS podaje, że w konfiguracji hybrydowej około 80 procent ruchu może być obsłużone lokalnie bez odwołania do płatnego API, a architektura może działać w pełni na sprzęcie brzegowym (np. Raspberry Pi z 8GB pamięci), w pełni w chmurze lub w trybie hybrydowym.

AWS Machine Learning
Modele· Ważne· 🧪 Warte przetestowania

OpenAI dodaje opcjonalne 12-godzinne buforowanie promptów w Responses API

Responses API od OpenAI obsługuje teraz opcjonalne 12-godzinne buforowanie promptów, które dłużej przechowuje współdzielone instrukcje, narzędzia i kontekst, dzięki czemu powtarzające się zapytania oddalone o kilka godzin nadal korzystają z tańszej ceny dla zbuforowanych danych wejściowych. Zapis do tego dłuższego bufora kosztuje 2,5 razy więcej niż standardowa cena tokenów wejściowych. To opcja dodatkowa obok istniejącego krótszego domyślnego bufora.

OpenAI API Changelog