Google wprowadziło Gemini Decisions API, oparte na nowym modelu gemini-decision-1. W przeciwieństwie do standardowych modeli generatywnych, narzędzie to przeprowadza klasyfikację i ocenę w jednym przejściu dla tekstu, dźwięku, obrazów, wideo i plików PDF, zwracając wyniki prawdopodobieństwa zamiast wygenerowanego tekstu.
Amazon rozszerzył możliwości API AgenticRetrieveStream, pozwalając programistom określić poziom iteracji dla zapytań do bazy wiedzy. Teraz możesz wybierać między zerem, jednym lub wieloma krokami wyszukiwania, aby zrównoważyć szybkość, koszt i złożoność każdego zapytania.
Badacze Apple wprowadzili podejście przyspieszające wyszukiwanie Maximum Inner Product Search (MIPS) w systemach RAG przy użyciu małych, wyspecjalizowanych sieci neuronowych. Trenując modele (SupportNet i KeyNet) w oparciu o rozkłady zapytań, systemy osiągają wyższą skuteczność (recall) przy niższym opóźnieniu w porównaniu do tradycyjnych metod partycjonowania.
Nowa funkcja w wersji beta pozwala na utrzymywanie stanu konwersacji po stronie serwera. Dzięki przesyłaniu tylko nowych wiadomości zamiast całej historii, możliwe jest skrócenie czasu do pierwszego tokena.
Firma Google zaktualizowała protokół generatywnego UI (A2UI), wprowadzając wymienne formaty wnioskowania (inference), aby rozwiązać problemy z opóźnieniami i niezawodnością występujące w poprzednim podejściu Direct JSON. Nowy format, A2UI Express, redukuje zużycie tokenów nawet 3-krotnie i opóźnienia nawet 3-krotnie, wykorzystując zwięzłą składnię w stylu Pythona.
Naukowcy przedstawili Boa Compressor, narzędzie typu online wykorzystujące model przestrzeni stanów Mamba do kompresji długiego kontekstu do krótszych reprezentacji w czasie liniowym. Dzięki destylacji wiedzy z pełnych interakcji LLM, metoda ta pozwala na wydajne wnioskowanie przy każdym zapytaniu, eliminując ogromne narzuty opóźnień typowe dla kompresji opartej na Transformerach.
Amazon Bedrock obsługuje teraz jawne i niejawne buforowanie promptów dla modeli OpenAI, umożliwiając przechowywanie i ponowne wykorzystywanie statycznych prefiksów, takich jak narzędzia, instrukcje i historia konwersacji. Unikając ponownego przetwarzania identycznych tokenów w każdej turze, można znacząco obniżyć koszty wejściowe i zwiększyć responsywność złożonych procesów agentowych.
Google wydał ML Drift, otwartoźródłowy, wieloplatformowy silnik obliczeniowy GPU do wnioskowania ML na urządzeniu, zastępujący dotychczasowy TFLite GPU delegate. Ujednolica obsługę shaderów między OpenGL ES, OpenCL, Metal i WebGPU, dodaje obsługę tensorów 5D oraz wprowadza optymalizacje etapowe dla faz prefill/decode w LLM. Jest już wdrożony produkcyjnie w Chrome, YouTube Shorts, Google Photos, Meet oraz aplikacjach partnerów Adobe i Snap.