Przejdź do treści
niedziela, 22 listopada 2026
Tenesys AI News
Subskrypcja

Wszystkie wiadomości

TENESYS AI NEWS śledzi najważniejsze wiadomości o AI i wyjaśnia, co się zmieniło, dlaczego to ważne i czy technologię warto przetestować.

#Latency — 13 artykułów ✕

PilneModele· 🧪 Warte przetestowania

Google wprowadza Gemini Decisions API do szybkiej klasyfikacji multimodalnej

Google wprowadziło Gemini Decisions API, oparte na nowym modelu gemini-decision-1. W przeciwieństwie do standardowych modeli generatywnych, narzędzie to przeprowadza klasyfikację i ocenę w jednym przejściu dla tekstu, dźwięku, obrazów, wideo i plików PDF, zwracając wyniki prawdopodobieństwa zamiast wygenerowanego tekstu.

Google AI
Modele· Ważne· 🧪 Warte przetestowania

Amazon Bedrock wprowadza tryby single-shot i tylko-wyszukiwanie dla baz wiedzy

Amazon rozszerzył możliwości API AgenticRetrieveStream, pozwalając programistom określić poziom iteracji dla zapytań do bazy wiedzy. Teraz możesz wybierać między zerem, jednym lub wieloma krokami wyszukiwania, aby zrównoważyć szybkość, koszt i złożoność każdego zapytania.

AWS Machine Learning
Automatyzacja· Ważne· 🧪 Warte przetestowania

Amazon SageMaker wprowadza obsługę Multi-Instance GPU dla zarządzanych punktów końcowych

Usługa Amazon SageMaker Inference wprowadziła obsługę NVIDIA Multi-Instance GPU (MIG), co pozwala na dzielenie pojedynczego fizycznego procesora graficznego na wiele niezależnych jednostek. Ten podział sprzętowy zapewnia każdej partycji dedykowane zasoby obliczeniowe i pamięć, gwarantując przewidywalne opóźnienia oraz silną izolację pomiędzy modelami hostowanymi na tym samym akceleratorze.

AWS Machine Learning
Badania· Ważne· 🧪 Warte przetestowania

Minimalizacja rozproszenia agentów AI w dużych bazach kodu

Agenci AI często błędnie interpretują starsze komentarze w kodzie, takie jak TODO lub FIXME, traktując je jako aktualne wytyczne. Badania wykazały, że w 6% sesji programistycznych agenci podejmują niepotrzebne działania dotyczące zamkniętych lub przestarzałych błędów, co prowadzi do wzrostu kosztów i nieplanowanego rozszerzenia zakresu prac (scope creep).

Google Developers
Modele· Ważne· 🧪 Warte przetestowania

Optymalizacja wyszukiwania w RAG za pomocą uczonych routerów neuronowych

Badacze Apple wprowadzili podejście przyspieszające wyszukiwanie Maximum Inner Product Search (MIPS) w systemach RAG przy użyciu małych, wyspecjalizowanych sieci neuronowych. Trenując modele (SupportNet i KeyNet) w oparciu o rozkłady zapytań, systemy osiągają wyższą skuteczność (recall) przy niższym opóźnieniu w porównaniu do tradycyjnych metod partycjonowania.

Apple Machine Learning
Voice AI· Ważne· 🧪 Warte przetestowania

Cartesia wprowadza modele głosowe oparte na SSM na AWS z opóźnieniem poniżej 100 ms

Firma Cartesia wprowadziła dwa modele do zastosowań głosowych: Sonic (zamiana tekstu na mowę) oraz Ink (zamiana mowy na tekst). Zbudowane w oparciu o architekturę State Space Model (SSM), modele te zostały zaprojektowane z myślą o ultra-niskich opóźnieniach i wydajności w czasie rzeczywistym, co jest kluczowe dla profesjonalnych agentów głosowych.

AWS Machine Learning
Modele· Ważne· 🧪 Warte przetestowania

Google aktualizuje A2UI o wymienne formaty wnioskowania i tryb Express

Firma Google zaktualizowała protokół generatywnego UI (A2UI), wprowadzając wymienne formaty wnioskowania (inference), aby rozwiązać problemy z opóźnieniami i niezawodnością występujące w poprzednim podejściu Direct JSON. Nowy format, A2UI Express, redukuje zużycie tokenów nawet 3-krotnie i opóźnienia nawet 3-krotnie, wykorzystując zwięzłą składnię w stylu Pythona.

Google Developers
Modele· Ważne· 🧪 Warte przetestowania

Boa Compressor wprowadza kompresję długiego kontekstu do modeli LLM w czasie rzeczywistym

Naukowcy przedstawili Boa Compressor, narzędzie typu online wykorzystujące model przestrzeni stanów Mamba do kompresji długiego kontekstu do krótszych reprezentacji w czasie liniowym. Dzięki destylacji wiedzy z pełnych interakcji LLM, metoda ta pozwala na wydajne wnioskowanie przy każdym zapytaniu, eliminując ogromne narzuty opóźnień typowe dla kompresji opartej na Transformerach.

arXiv cs.CL
Modele· Ważne· 🧪 Warte przetestowania

Obniż koszty agentów AI w Bedrock dzięki nowemu buforowaniu promptów

Amazon Bedrock obsługuje teraz jawne i niejawne buforowanie promptów dla modeli OpenAI, umożliwiając przechowywanie i ponowne wykorzystywanie statycznych prefiksów, takich jak narzędzia, instrukcje i historia konwersacji. Unikając ponownego przetwarzania identycznych tokenów w każdej turze, można znacząco obniżyć koszty wejściowe i zwiększyć responsywność złożonych procesów agentowych.

AWS Machine Learning
Badania· Ważne· 🧪 Warte przetestowania

Plugin IBM pozwala vLLM monitorować i sterować LLM w czasie rzeczywistym niemal bez spowolnienia

IBM Research wydał vLLM-Hook MIA, plugin dla open-source'owego silnika wnioskowania vLLM, który pozwala deweloperom obserwować i ingerować w wewnętrzne stany modelu w czasie działania — np. odrzucać złośliwe prompty, oznaczać zmyślone fakty czy korygować ton odpowiedzi — bez wyłączania szybkiego trybu wykonywania opartego na powtarzaniu grafu w vLLM. Według raportu technicznego IBM, MIA jest nawet 20 razy szybszy niż poprzedni vLLM-Hook i nawet 14 razy szybszy niż metody wstawiające kod bezpośrednio do modelu. W testach sterowanie modelem 8B Llama lub 1,5B Qwen dodawało tylko około 2% opóźnienia, a model 70B Llama - około 6%.

IBM Research
Badania· Ważne· 🧪 Warte przetestowania

AWS wprowadza przesyłanie KV typu „push”, skracające opóźnienia w rozdzielonej infrastrukturze vLLM

AWS udostępnił konektor NIXL typu „push” dla vLLM, zmieniający sposób przesyłania danych pamięci podręcznej klucz-wartość (KV) między instancjami prefill i decode w rozdzielonym serwowaniu LLM. Zamiast pobierania bloków KV przez instancję decode po zakończeniu prefill, instancja decode z wyprzedzeniem rejestruje docelową pamięć, a instancja prefill zapisuje dane KV bezpośrednio, gdy tylko są gotowe — usuwając koordynację ze ścieżki krytycznej. W testach z modelem Qwen3-32B w konfiguracji 1 prefill/1 decode na instancjach EC2 P5en z EFA, tryb push osiągnął nawet 3-krotnie lepszy czas do pierwszego tokenu (TTFT) i nawet o 30% lepszy czas generowania pojedynczego tokenu (TPOT) niż domyślny tryb pull, zwłaszcza przy dużym obciążeniu zapytaniami.

AWS Machine Learning