Nowa funkcja w wersji beta pozwala na utrzymywanie stanu konwersacji po stronie serwera. Dzięki przesyłaniu tylko nowych wiadomości zamiast całej historii, możliwe jest skrócenie czasu do pierwszego tokena.
NVIDIA uruchomiła Cosmos, platformę oferującą fundamenty modeli światowych i narzędzia dla Physical AI, dedykowaną zastosowaniom takim jak robotyka czy pojazdy autonomiczne. Framework zawiera modułowe przepisy do uczenia oraz mikrousługi NIM, które przyspieszają inferencję i umożliwiają generowanie zsynchronizowanych danych wideo oraz LiDAR.
Amazon opublikował metodologię wykorzystania destylacji wiedzy na poziomie sekwencji (SeqKD) do dostrajania mniejszych modeli na trajektoriach wygenerowanych przez modele typu frontier. Dzięki wykorzystaniu modelu „nauczyciela” do generowania udanych trajektorii użycia narzędzi oraz filtrowaniu ich za pomocą programowego skorelowania, zespoły mogą trenować kompaktowe modele „uczniów”, które realizują złożone rozumowanie przy ułamku kosztów.
NVIDIA udostępniła nowy interfejs wiersza poleceń dla środowiska uruchomieniowego TensorRT Edge-LLM, umożliwiający programistom szybkie tworzenie prototypów i testowanie modeli AI na stacjach roboczych DGX Spark 64GB. Zestaw narzędzi ułatwia lokalne serwowanie modeli i wspiera dekodowanie spekulatywne DSpark, zwiększając wydajność generowania na sprzęcie o ograniczonych zasobach.
Interfejsy Messages oraz Token Counting w ramach Claude API obsługują teraz znacznie większe pakiety danych. Deweloperzy mogą przesyłać zapytania o rozmiarze do 128 MB, w porównaniu z poprzednim limitem 32 MB.
NVIDIA wprowadziła Nemotron 3.5 Super VL, multimodalny model 120B z oknem kontekstowym 1M tokenów. Model wykorzystuje hybrydową architekturę Mamba-2 oraz MoE, aby zrównoważyć możliwości rozumowania z wydajnością wnioskowania, i jest gotowy do wdrożenia w środowiskach Amazon EKS oraz SageMaker HyperPod.
IBM udostępniło Granite Switch 4.1.1, poprawkę do swojej modularnej architektury modeli językowych. Aktualizacja wprowadza ulepszony wielojęzyczny model rozpoznawania mowy (ASR) oraz udoskonalony adapter decyzyjny, osiągnięte bez konieczności ponownego trenowania modelu bazowego.
Google zaprezentowało Gemini 4 Carbon, nowy, wydajny model zaprojektowany do zaawansowanych zadań inżynieryjnych i cyberbezpieczeństwa. Model wykazuje znakomite wyniki w wykrywaniu podatności, tworzeniu bezpiecznych poprawek oraz długoterminowym wnioskowaniu, przy jednoczesnym wzmocnieniu odporności na ataki typu prompt injection.
Deweloperzy mogą teraz egzekwować określone wytyczne dotyczące bezpieczeństwa treści bezpośrednio w zapytaniach API do modeli Grok. Dodając tablicę guidelines do zapytań Chat Completions lub Responses, można kontrolować sposób obsługi treści typu NSFW, przemocy oraz wulgaryzmów.
NVIDIA udostępniła CUDA 13.4, wprowadzając sprzętowo przezroczyste limity pamięci dla współdzielenia GPU. W połączeniu z nowym operatorem GPU Fractioning i KAI Scheduler v0.18.0, Twoja firma może definiować żądania pamięci, limity wzrostu oraz tryby obliczeniowe bezpośrednio w adnotacjach Podów Kubernetes.
Firma LiquidAI wprowadziła LFM3, nową generację małych modeli bazowych zbudowanych na wspólnym szkielecie 2B parametrów. Seria obejmuje modele tekstowe, wizyjne, audio i „omni”, zaprojektowane z myślą o wysokiej wydajności na urządzeniach końcowych.
NVIDIA udostępniła zbiory danych 'Nemotron-Personas' dla Francji i Belgii, mające na celu poprawę dokładności modeli LLM w odniesieniu do regionalnych procedur, demografii i niuansów kulturowych. Aktualizacja dostarcza kompletny przepływ pracy post-treningowej – w tym generowanie danych, dostrajanie LoRA przez NVIDIA NeMo oraz ewaluację – aby pomóc deweloperom przejść od modeli ogólnych do agentów specyficznych dla danej dziedziny.
Google DeepMind wprowadziło Genie 4, multimodalny model świata umożliwiający interaktywne symulacje w czasie rzeczywistym. Model natywnie generuje wideo, dźwięki otoczenia i responsywne dialogi, wykorzystując Gemini 3.8 Flash do utrzymania spójności fizycznej i złożonego wnioskowania.
Firma Google zaktualizowała protokół generatywnego UI (A2UI), wprowadzając wymienne formaty wnioskowania (inference), aby rozwiązać problemy z opóźnieniami i niezawodnością występujące w poprzednim podejściu Direct JSON. Nowy format, A2UI Express, redukuje zużycie tokenów nawet 3-krotnie i opóźnienia nawet 3-krotnie, wykorzystując zwięzłą składnię w stylu Pythona.
Google wprowadziło Gemini Robotics Embodied Reasoning 2 (ER 2) w publicznej wersji zapoznawczej na platformie Gemini. Model ten pełni rolę zaawansowanej warstwy poznawczej dla robotyki, zdolnej do planowania, autokorekty zadań oraz zarządzania systemami wielorobotowymi za pomocą instrukcji w języku naturalnym.
Naukowcy przedstawili Boa Compressor, narzędzie typu online wykorzystujące model przestrzeni stanów Mamba do kompresji długiego kontekstu do krótszych reprezentacji w czasie liniowym. Dzięki destylacji wiedzy z pełnych interakcji LLM, metoda ta pozwala na wydajne wnioskowanie przy każdym zapytaniu, eliminując ogromne narzuty opóźnień typowe dla kompresji opartej na Transformerach.
OpenAI oficjalnie udostępniło GPT-6.1 Terra, nowy model zaprojektowany specjalnie pod kątem rozumowania wizualnego, precyzyjnej obsługi komputera oraz generowania naturalnego tekstu.
Amazon Bedrock obsługuje teraz jawne i niejawne buforowanie promptów dla modeli OpenAI, umożliwiając przechowywanie i ponowne wykorzystywanie statycznych prefiksów, takich jak narzędzia, instrukcje i historia konwersacji. Unikając ponownego przetwarzania identycznych tokenów w każdej turze, można znacząco obniżyć koszty wejściowe i zwiększyć responsywność złożonych procesów agentowych.
Google zaktualizowało Gemini API, co oznacza, że we wszystkich nowych projektach w ramach płatnego planu zapytania są teraz domyślnie zapisywane (store=true). Zmiana ta ujednolica działanie metod generowania treści z Interactions API, wymagając od deweloperów ręcznego wyłączenia tej opcji, jeśli nie chcą przechowywać danych.
Amazon wydał TorchNeuron – otwarty backend umożliwiający uruchamianie istniejącego kodu PyTorch na akceleratorach AWS Trainium bez większych zmian. Nowość wprowadza dodatkowy tryb wykonania oraz wielopoziomowe buforowanie ograniczające ponowną kompilację, a jej niezawodność zweryfikowano za pomocą agentów AI, które z setek tysięcy modeli Hugging Face wyodrębniły reprezentatywny zestaw testowy. Wewnętrzne testy na dużym modelu wykazały skrócenie czasu do pierwszego kroku treningowego o około jedną trzecią.
Z.ai GLM 5.3 Flash – multimodalny model Mixture-of-Experts z 320B parametrów i 18B aktywnych – jest teraz dostępny na platformie Mistral. Posiada okno kontekstu wielkości 1M tokenów i został zaprojektowany do pracy agentów deweloperskich, kodowania wizualnego oraz złożonych zadań z użyciem narzędzi. Ceny: 0,15 USD za milion tokenów wejściowych, 0,03 USD za milion tokenów z cache, 0,50 USD za milion tokenów wyjściowych.
Cohere wypuściło najnowszą generację modeli do rerankingu dla firm, Rerank 5, w wersjach Pro i Fast. Rerank 5 Pro przoduje w głównych publicznych benchmarkach, w tym BRIGHT, ViDoRe V3, BEIR i nanoMTEB, a Rerank 5 Fast oferuje niemal tak samo wysoką jakość przy niższym koszcie i wyższej przepustowości. Nowością jest funkcja Context Focus, która zwraca najbardziej istotne fragmenty tekstu w dokumentach zamiast całych dokumentów, oraz skalibrowane wyniki trafności, które działają jak prawdopodobieństwa w różnych modelach i domenach.
NVIDIA dodała trzy nowe, otwarte i komercyjnie licencjonowane komponenty do linii Nemotron Retriever: modele Embed (8B i 1B, w wersjach BF16 i NVFP4) do przeszukiwania tekstu i obrazów, model Rerank (8B), który porządkuje pobrane dowody według trafności, oraz kompaktowy model Parse o 631M parametrów, który zamienia obrazy dokumentów na ustrukturyzowany tekst. Celem jest dostarczenie agentom AI lepszych, bardziej trafnych dowodów, dzięki czemu potrzebują mniej rund wyszukiwania i mniej tokenów inferencji do udzielenia odpowiedzi. NVIDIA podaje, że nowe modele Embed i Rerank zajmują pierwsze miejsca w rankingach ViDoRe v3.1 odpowiednio dla wyszukiwania gęstego i rerankingu.
Firma badawcza AI i14 we współpracy z AWS przeniosła swój model Laplace 3B — 24-warstwową architekturę opartą na Gated Linear Attention (GLA) zamiast standardowego mechanizmu uwagi transformerów — na układy AWS Trainium2, wykorzystując natywny PyTorch (TorchNeuron Native). Zamiast rosnącego z każdym tokenem KV cache, model utrzymuje stały stan rekurencyjny o rozmiarze 29,5 MB na sekwencję. Na pojedynczej instancji trn2.48xlarge zespół osiągnął około 120 000 tokenów na sekundę podczas treningu i obsłużył 11 544 tokeny wyjściowe na sekundę przy 1 280 równoległych sekwencjach, korzystając z niezmodyfikowanego silnika vLLM.