Amazon SageMaker AI monitoruje teraz punkty końcowe wnioskowania, aby identyfikować wzrosty opóźnień, nieużywane zasoby GPU oraz brakujące optymalizacje wydajności. Funkcja wykorzystuje środowisko agentowe w SageMaker Studio, aby pomóc w przeprowadzaniu testów porównawczych i rozwiązywaniu problemów bez konieczności ręcznej konfiguracji.
Google wprowadziło funkcję Tool Retrieval w wersji zapoznawczej dla Gemini Interactions API, umożliwiającą agentom ładowanie schematów narzędzi na żądanie. Dzięki trzymaniu w kontekście tylko nazw i opisów oraz pobieraniu szczegółów parametrów w momencie potrzeby, programiści mogą zarządzać dużymi bibliotekami narzędzi bez nadmiernego zużycia tokenów wejściowych.
AWS przedstawia trzy strategie zarządzania masywnymi danymi JSON (ponad 20 MB) w agentach AI, osiągając redukcję zużycia tokenów do 71% i opóźnień do 80%. Podejście obejmuje przeniesienie stanu do Amazon S3, stronicowanie wyników oraz kompaktowanie danych słownikowych.
Amazon SageMaker AI wprowadziło strategię routingu 'KV_AWARE', która kieruje zapytania LLM do instancji na podstawie stanu ich pamięci podręcznej KV, a nie tylko nagłówków promptów. Optymalizuje to wieloetapowe konwersacje i długie konteksty, zapewniając obsługę zapytań tam, gdzie dane są już dostępne w pamięci GPU.
Google wprowadziło Gemini Decisions API, oparte na nowym modelu gemini-decision-1. W przeciwieństwie do standardowych modeli generatywnych, narzędzie to przeprowadza klasyfikację i ocenę w jednym przejściu dla tekstu, dźwięku, obrazów, wideo i plików PDF, zwracając wyniki prawdopodobieństwa zamiast wygenerowanego tekstu.
Amazon rozszerzył możliwości API AgenticRetrieveStream, pozwalając programistom określić poziom iteracji dla zapytań do bazy wiedzy. Teraz możesz wybierać między zerem, jednym lub wieloma krokami wyszukiwania, aby zrównoważyć szybkość, koszt i złożoność każdego zapytania.
Usługa Amazon SageMaker Inference wprowadziła obsługę NVIDIA Multi-Instance GPU (MIG), co pozwala na dzielenie pojedynczego fizycznego procesora graficznego na wiele niezależnych jednostek. Ten podział sprzętowy zapewnia każdej partycji dedykowane zasoby obliczeniowe i pamięć, gwarantując przewidywalne opóźnienia oraz silną izolację pomiędzy modelami hostowanymi na tym samym akceleratorze.
Agenci AI często błędnie interpretują starsze komentarze w kodzie, takie jak TODO lub FIXME, traktując je jako aktualne wytyczne. Badania wykazały, że w 6% sesji programistycznych agenci podejmują niepotrzebne działania dotyczące zamkniętych lub przestarzałych błędów, co prowadzi do wzrostu kosztów i nieplanowanego rozszerzenia zakresu prac (scope creep).
Badacze Apple wprowadzili podejście przyspieszające wyszukiwanie Maximum Inner Product Search (MIPS) w systemach RAG przy użyciu małych, wyspecjalizowanych sieci neuronowych. Trenując modele (SupportNet i KeyNet) w oparciu o rozkłady zapytań, systemy osiągają wyższą skuteczność (recall) przy niższym opóźnieniu w porównaniu do tradycyjnych metod partycjonowania.
Naukowcy opracowali metodę obliczania teoretycznej górnej granicy wydajności spekulatywnego dekodowania wielowariantowego (MDSD) poprzez rozwiązanie dualnego problemu transportu optymalnego. Badanie wykazuje, że obecne algorytmy weryfikacji często nie osiągają tego teoretycznego limitu, a próbkowanie bez zwracania (sampling without replacement) znacząco poprawia wskaźniki akceptacji w porównaniu do próbkowania ze zwracaniem.
Firma Cartesia wprowadziła dwa modele do zastosowań głosowych: Sonic (zamiana tekstu na mowę) oraz Ink (zamiana mowy na tekst). Zbudowane w oparciu o architekturę State Space Model (SSM), modele te zostały zaprojektowane z myślą o ultra-niskich opóźnieniach i wydajności w czasie rzeczywistym, co jest kluczowe dla profesjonalnych agentów głosowych.
Nowa funkcja w wersji beta pozwala na utrzymywanie stanu konwersacji po stronie serwera. Dzięki przesyłaniu tylko nowych wiadomości zamiast całej historii, możliwe jest skrócenie czasu do pierwszego tokena.
AssemblyAI wprowadziło AssemblyAI-TTS-1, model zamiany tekstu na mowę (TTS) stworzony dla agentów głosowych. Oferuje opóźnienia poniżej 100 ms, bibliotekę 4000+ głosów oraz natychmiastowe klonowanie głosu w cenie 15 USD za 1 mln znaków.
Firma Google zaktualizowała protokół generatywnego UI (A2UI), wprowadzając wymienne formaty wnioskowania (inference), aby rozwiązać problemy z opóźnieniami i niezawodnością występujące w poprzednim podejściu Direct JSON. Nowy format, A2UI Express, redukuje zużycie tokenów nawet 3-krotnie i opóźnienia nawet 3-krotnie, wykorzystując zwięzłą składnię w stylu Pythona.
Naukowcy przedstawili Boa Compressor, narzędzie typu online wykorzystujące model przestrzeni stanów Mamba do kompresji długiego kontekstu do krótszych reprezentacji w czasie liniowym. Dzięki destylacji wiedzy z pełnych interakcji LLM, metoda ta pozwala na wydajne wnioskowanie przy każdym zapytaniu, eliminując ogromne narzuty opóźnień typowe dla kompresji opartej na Transformerach.
Amazon Bedrock obsługuje teraz jawne i niejawne buforowanie promptów dla modeli OpenAI, umożliwiając przechowywanie i ponowne wykorzystywanie statycznych prefiksów, takich jak narzędzia, instrukcje i historia konwersacji. Unikając ponownego przetwarzania identycznych tokenów w każdej turze, można znacząco obniżyć koszty wejściowe i zwiększyć responsywność złożonych procesów agentowych.