Przejdź do treści
niedziela, 22 listopada 2026
Tenesys AI News
Subskrypcja

Wszystkie wiadomości

TENESYS AI NEWS śledzi najważniejsze wiadomości o AI i wyjaśnia, co się zmieniło, dlaczego to ważne i czy technologię warto przetestować.

#Latency — 16 artykułów ✕

Automatyzacja· Ważne· 🧪 Warte przetestowania

Amazon SageMaker AI automatyzuje wykrywanie dryftu opóźnień i nieefektywności punktów końcowych

Amazon SageMaker AI monitoruje teraz punkty końcowe wnioskowania, aby identyfikować wzrosty opóźnień, nieużywane zasoby GPU oraz brakujące optymalizacje wydajności. Funkcja wykorzystuje środowisko agentowe w SageMaker Studio, aby pomóc w przeprowadzaniu testów porównawczych i rozwiązywaniu problemów bez konieczności ręcznej konfiguracji.

AWS Machine Learning
Agenci· Ważne· 🧪 Warte przetestowania

Google wprowadza Tool Retrieval dla agentów w Gemini API

Google wprowadziło funkcję Tool Retrieval w wersji zapoznawczej dla Gemini Interactions API, umożliwiającą agentom ładowanie schematów narzędzi na żądanie. Dzięki trzymaniu w kontekście tylko nazw i opisów oraz pobieraniu szczegółów parametrów w momencie potrzeby, programiści mogą zarządzać dużymi bibliotekami narzędzi bez nadmiernego zużycia tokenów wejściowych.

Google AI
Automatyzacja· Ważne· 🧪 Warte przetestowania

Optymalizacja dużych obciążeń JSON dla agentów AI

AWS przedstawia trzy strategie zarządzania masywnymi danymi JSON (ponad 20 MB) w agentach AI, osiągając redukcję zużycia tokenów do 71% i opóźnień do 80%. Podejście obejmuje przeniesienie stanu do Amazon S3, stronicowanie wyników oraz kompaktowanie danych słownikowych.

AWS Machine Learning
Modele· Ważne· 🧪 Warte przetestowania

Amazon SageMaker AI wprowadza routing świadomy pamięci podręcznej KV

Amazon SageMaker AI wprowadziło strategię routingu 'KV_AWARE', która kieruje zapytania LLM do instancji na podstawie stanu ich pamięci podręcznej KV, a nie tylko nagłówków promptów. Optymalizuje to wieloetapowe konwersacje i długie konteksty, zapewniając obsługę zapytań tam, gdzie dane są już dostępne w pamięci GPU.

AWS Machine Learning
PilneModele· 🧪 Warte przetestowania

Google wprowadza Gemini Decisions API do szybkiej klasyfikacji multimodalnej

Google wprowadziło Gemini Decisions API, oparte na nowym modelu gemini-decision-1. W przeciwieństwie do standardowych modeli generatywnych, narzędzie to przeprowadza klasyfikację i ocenę w jednym przejściu dla tekstu, dźwięku, obrazów, wideo i plików PDF, zwracając wyniki prawdopodobieństwa zamiast wygenerowanego tekstu.

Google AI
Modele· Ważne· 🧪 Warte przetestowania

Amazon Bedrock wprowadza tryby single-shot i tylko-wyszukiwanie dla baz wiedzy

Amazon rozszerzył możliwości API AgenticRetrieveStream, pozwalając programistom określić poziom iteracji dla zapytań do bazy wiedzy. Teraz możesz wybierać między zerem, jednym lub wieloma krokami wyszukiwania, aby zrównoważyć szybkość, koszt i złożoność każdego zapytania.

AWS Machine Learning
Automatyzacja· Ważne· 🧪 Warte przetestowania

Amazon SageMaker wprowadza obsługę Multi-Instance GPU dla zarządzanych punktów końcowych

Usługa Amazon SageMaker Inference wprowadziła obsługę NVIDIA Multi-Instance GPU (MIG), co pozwala na dzielenie pojedynczego fizycznego procesora graficznego na wiele niezależnych jednostek. Ten podział sprzętowy zapewnia każdej partycji dedykowane zasoby obliczeniowe i pamięć, gwarantując przewidywalne opóźnienia oraz silną izolację pomiędzy modelami hostowanymi na tym samym akceleratorze.

AWS Machine Learning
Badania· Ważne· 🧪 Warte przetestowania

Minimalizacja rozproszenia agentów AI w dużych bazach kodu

Agenci AI często błędnie interpretują starsze komentarze w kodzie, takie jak TODO lub FIXME, traktując je jako aktualne wytyczne. Badania wykazały, że w 6% sesji programistycznych agenci podejmują niepotrzebne działania dotyczące zamkniętych lub przestarzałych błędów, co prowadzi do wzrostu kosztów i nieplanowanego rozszerzenia zakresu prac (scope creep).

Google Developers
Modele· Ważne· 🧪 Warte przetestowania

Optymalizacja wyszukiwania w RAG za pomocą uczonych routerów neuronowych

Badacze Apple wprowadzili podejście przyspieszające wyszukiwanie Maximum Inner Product Search (MIPS) w systemach RAG przy użyciu małych, wyspecjalizowanych sieci neuronowych. Trenując modele (SupportNet i KeyNet) w oparciu o rozkłady zapytań, systemy osiągają wyższą skuteczność (recall) przy niższym opóźnieniu w porównaniu do tradycyjnych metod partycjonowania.

Apple Machine Learning
Badania· 🧪 Warte przetestowania

Optymalizacja wydajności spekulatywnego dekodowania wielowariantowego

Naukowcy opracowali metodę obliczania teoretycznej górnej granicy wydajności spekulatywnego dekodowania wielowariantowego (MDSD) poprzez rozwiązanie dualnego problemu transportu optymalnego. Badanie wykazuje, że obecne algorytmy weryfikacji często nie osiągają tego teoretycznego limitu, a próbkowanie bez zwracania (sampling without replacement) znacząco poprawia wskaźniki akceptacji w porównaniu do próbkowania ze zwracaniem.

arXiv cs.CL
Voice AI· Ważne· 🧪 Warte przetestowania

Cartesia wprowadza modele głosowe oparte na SSM na AWS z opóźnieniem poniżej 100 ms

Firma Cartesia wprowadziła dwa modele do zastosowań głosowych: Sonic (zamiana tekstu na mowę) oraz Ink (zamiana mowy na tekst). Zbudowane w oparciu o architekturę State Space Model (SSM), modele te zostały zaprojektowane z myślą o ultra-niskich opóźnieniach i wydajności w czasie rzeczywistym, co jest kluczowe dla profesjonalnych agentów głosowych.

AWS Machine Learning
Modele· Ważne· 🧪 Warte przetestowania

Google aktualizuje A2UI o wymienne formaty wnioskowania i tryb Express

Firma Google zaktualizowała protokół generatywnego UI (A2UI), wprowadzając wymienne formaty wnioskowania (inference), aby rozwiązać problemy z opóźnieniami i niezawodnością występujące w poprzednim podejściu Direct JSON. Nowy format, A2UI Express, redukuje zużycie tokenów nawet 3-krotnie i opóźnienia nawet 3-krotnie, wykorzystując zwięzłą składnię w stylu Pythona.

Google Developers
Modele· Ważne· 🧪 Warte przetestowania

Boa Compressor wprowadza kompresję długiego kontekstu do modeli LLM w czasie rzeczywistym

Naukowcy przedstawili Boa Compressor, narzędzie typu online wykorzystujące model przestrzeni stanów Mamba do kompresji długiego kontekstu do krótszych reprezentacji w czasie liniowym. Dzięki destylacji wiedzy z pełnych interakcji LLM, metoda ta pozwala na wydajne wnioskowanie przy każdym zapytaniu, eliminując ogromne narzuty opóźnień typowe dla kompresji opartej na Transformerach.

arXiv cs.CL
Modele· Ważne· 🧪 Warte przetestowania

Obniż koszty agentów AI w Bedrock dzięki nowemu buforowaniu promptów

Amazon Bedrock obsługuje teraz jawne i niejawne buforowanie promptów dla modeli OpenAI, umożliwiając przechowywanie i ponowne wykorzystywanie statycznych prefiksów, takich jak narzędzia, instrukcje i historia konwersacji. Unikając ponownego przetwarzania identycznych tokenów w każdej turze, można znacząco obniżyć koszty wejściowe i zwiększyć responsywność złożonych procesów agentowych.

AWS Machine Learning