Przejdź do treści
poniedziałek, 23 listopada 2026
Tenesys AI News
Subskrypcja

Wszystkie wiadomości

TENESYS AI NEWS śledzi najważniejsze wiadomości o AI i wyjaśnia, co się zmieniło, dlaczego to ważne i czy technologię warto przetestować.

#Cost Optimization — 3 artykuły ✕

Modele· Ważne· 🧪 Warte przetestowania

Optymalizacja kosztów agentów kodujących w Amazon Bedrock dzięki NVIDIA NeMo Switchyard

Amazon opublikował architekturę referencyjną integrującą bibliotekę NVIDIA NeMo Switchyard z LiteLLM w celu dynamicznego kierowania zapytań agentów programistycznych między różnymi modelami w Bedrock. Stosując routing warstwowy (stage) lub losowy (random), możesz przekierowywać ruch między modelami o wysokiej wydajności a modelami ekonomicznymi, balansując koszty i skuteczność.

AWS Machine Learning
Modele· Ważne· 🧪 Warte przetestowania

Skalowanie wydajnych agentów poprzez destylację wiedzy w Amazon SageMaker

Amazon opublikował metodologię wykorzystania destylacji wiedzy na poziomie sekwencji (SeqKD) do dostrajania mniejszych modeli na trajektoriach wygenerowanych przez modele typu frontier. Dzięki wykorzystaniu modelu „nauczyciela” do generowania udanych trajektorii użycia narzędzi oraz filtrowaniu ich za pomocą programowego skorelowania, zespoły mogą trenować kompaktowe modele „uczniów”, które realizują złożone rozumowanie przy ułamku kosztów.

AWS Machine Learning
Modele· Ważne· 🧪 Warte przetestowania

OpenAI dodaje opcjonalne 12-godzinne buforowanie promptów w Responses API

Responses API od OpenAI obsługuje teraz opcjonalne 12-godzinne buforowanie promptów, które dłużej przechowuje współdzielone instrukcje, narzędzia i kontekst, dzięki czemu powtarzające się zapytania oddalone o kilka godzin nadal korzystają z tańszej ceny dla zbuforowanych danych wejściowych. Zapis do tego dłuższego bufora kosztuje 2,5 razy więcej niż standardowa cena tokenów wejściowych. To opcja dodatkowa obok istniejącego krótszego domyślnego bufora.

OpenAI API Changelog