Przejdź do treści
czwartek, 19 listopada 2026
Tenesys AI News
Subskrypcja

Modele AI

Nowe modele i wersje od OpenAI, Anthropic, Google, Meta, Mistral, xAI, DeepSeek, Qwen i innych.

“Inference” — 41 artykułów ✕

Modele· Ważne· 🧪 Warte przetestowania

NVIDIA upraszcza wdrażanie Edge AI za pomocą TensorRT Edge-LLM

NVIDIA udostępniła nowy interfejs wiersza poleceń dla środowiska uruchomieniowego TensorRT Edge-LLM, umożliwiający programistom szybkie tworzenie prototypów i testowanie modeli AI na stacjach roboczych DGX Spark 64GB. Zestaw narzędzi ułatwia lokalne serwowanie modeli i wspiera dekodowanie spekulatywne DSpark, zwiększając wydajność generowania na sprzęcie o ograniczonych zasobach.

NVIDIA Developer
Modele· Ważne· 🧪 Warte przetestowania

NVIDIA udostępnia multimodalny model Nemotron 3.5 Super VL dla AWS EKS

NVIDIA wprowadziła Nemotron 3.5 Super VL, multimodalny model 120B z oknem kontekstowym 1M tokenów. Model wykorzystuje hybrydową architekturę Mamba-2 oraz MoE, aby zrównoważyć możliwości rozumowania z wydajnością wnioskowania, i jest gotowy do wdrożenia w środowiskach Amazon EKS oraz SageMaker HyperPod.

AWS Machine Learning
PilneModele· 🧪 Warte przetestowania

Mistral AI prezentuje Mistral Large 4: Model o parametrach 1T

Mistral AI udostępniło Mistral Large 4 (Le Chonk), model typu open-weight z 1 bilionem parametrów, zoptymalizowany pod kątem kodowania, cyberbezpieczeństwa i rozumowania. Model wprowadza trzy tryby rozumowania w celu zrównoważenia wydajności i kosztów oraz oferuje ulepszone mechanizmy bezpieczeństwa dla agentów AI.

Mistral AI
Modele· Ważne· 🧪 Warte przetestowania

Optymalizacja infrastruktury GPU dzięki limitom pamięci w CUDA 13.4

NVIDIA udostępniła CUDA 13.4, wprowadzając sprzętowo przezroczyste limity pamięci dla współdzielenia GPU. W połączeniu z nowym operatorem GPU Fractioning i KAI Scheduler v0.18.0, Twoja firma może definiować żądania pamięci, limity wzrostu oraz tryby obliczeniowe bezpośrednio w adnotacjach Podów Kubernetes.

NVIDIA Developer
Modele· Ważne· 🧪 Warte przetestowania

Zwiększanie przepustowości dużych modeli MoE na architekturze NVIDIA

Firma NVIDIA opublikowała strategię optymalizacji wnioskowania MoE, przetestowaną na modelu Ling-3.0-flash o 124 miliardach parametrów. Dzięki zastosowaniu specjalistycznych jąder Humming, precyzji FP8 dla LM head oraz predykcji wielu tokenów (MTP), można uzyskać wzrost przepustowości o 42,5% oraz redukcję opóźnień o 24,5%.

NVIDIA Developer
Modele· Ważne· 🧪 Warte przetestowania

Google aktualizuje A2UI o wymienne formaty wnioskowania i tryb Express

Firma Google zaktualizowała protokół generatywnego UI (A2UI), wprowadzając wymienne formaty wnioskowania (inference), aby rozwiązać problemy z opóźnieniami i niezawodnością występujące w poprzednim podejściu Direct JSON. Nowy format, A2UI Express, redukuje zużycie tokenów nawet 3-krotnie i opóźnienia nawet 3-krotnie, wykorzystując zwięzłą składnię w stylu Pythona.

Google Developers
Modele· Ważne· 🧪 Warte przetestowania

Boa Compressor wprowadza kompresję długiego kontekstu do modeli LLM w czasie rzeczywistym

Naukowcy przedstawili Boa Compressor, narzędzie typu online wykorzystujące model przestrzeni stanów Mamba do kompresji długiego kontekstu do krótszych reprezentacji w czasie liniowym. Dzięki destylacji wiedzy z pełnych interakcji LLM, metoda ta pozwala na wydajne wnioskowanie przy każdym zapytaniu, eliminując ogromne narzuty opóźnień typowe dla kompresji opartej na Transformerach.

arXiv cs.CL
Modele· Ważne· 🧪 Warte przetestowania

Akcelerator IBM Spyre zyskuje natywną integrację z PyTorch i vLLM

IBM zaktualizowało swój ekosystem oprogramowania, traktując akcelerator danych Spyre jako pierwszorzędny backend PyTorch. Dzięki wykorzystaniu TorchDynamo i TorchInductor, programiści mogą teraz uruchamiać modele na systemach IBM Z, LinuxONE i Power przy użyciu standardowych przepływów pracy PyTorch i wtyczek vLLM.

IBM Research
Modele· Ważne· 🧪 Warte przetestowania

NVIDIA rozszerza linię Nemotron o nowe modele wyszukiwania, rerankingu i parsowania dokumentów dla agentów AI

NVIDIA dodała trzy nowe, otwarte i komercyjnie licencjonowane komponenty do linii Nemotron Retriever: modele Embed (8B i 1B, w wersjach BF16 i NVFP4) do przeszukiwania tekstu i obrazów, model Rerank (8B), który porządkuje pobrane dowody według trafności, oraz kompaktowy model Parse o 631M parametrów, który zamienia obrazy dokumentów na ustrukturyzowany tekst. Celem jest dostarczenie agentom AI lepszych, bardziej trafnych dowodów, dzięki czemu potrzebują mniej rund wyszukiwania i mniej tokenów inferencji do udzielenia odpowiedzi. NVIDIA podaje, że nowe modele Embed i Rerank zajmują pierwsze miejsca w rankingach ViDoRe v3.1 odpowiednio dla wyszukiwania gęstego i rerankingu.

Hugging Face
Modele· Ważne· 🧪 Warte przetestowania

AWS i i14 rezygnują z KV cache: model z liniową uwagą 3B na Trainium2

Firma badawcza AI i14 we współpracy z AWS przeniosła swój model Laplace 3B — 24-warstwową architekturę opartą na Gated Linear Attention (GLA) zamiast standardowego mechanizmu uwagi transformerów — na układy AWS Trainium2, wykorzystując natywny PyTorch (TorchNeuron Native). Zamiast rosnącego z każdym tokenem KV cache, model utrzymuje stały stan rekurencyjny o rozmiarze 29,5 MB na sekwencję. Na pojedynczej instancji trn2.48xlarge zespół osiągnął około 120 000 tokenów na sekundę podczas treningu i obsłużył 11 544 tokeny wyjściowe na sekundę przy 1 280 równoległych sekwencjach, korzystając z niezmodyfikowanego silnika vLLM.

AWS Machine Learning
Modele· Ważne

Google uruchamia natywne silniki wnioskowania PyTorch dla vLLM i SGLang na TPU

Google ogłosił nowe silniki wnioskowania (inference) vLLM i SGLang, zbudowane bezpośrednio na PyTorch dla TPU, opracowane odpowiednio z Inferact i RadixArk. Silniki działają na nowej warstwie TorchTPU, która czyni TPU natywnym urządzeniem PyTorch, zastępując wcześniejsze podejście oparte na JAX. Google podaje publiczny wynik benchmarku na poziomie 2,01 centa za milion tokenów przy konfiguracjach o wysokiej współbieżności w ramach projektu SemiAnalysis InferenceX, a także wsparcie dla obciążeń agentowych, długiego kontekstu, rozproszonego serwowania i modeli multimodalnych.

Google Developers
Modele· Ważne

Reflection udostępnia Beam – otwarty model MoE z 501B parametrów i kontekstem 1M tokenów

Nowe amerykańskie laboratorium AI, Reflection, zaprezentowało swój pierwszy model Beam – otwarty model typu mixture-of-experts (MoE) z 501B parametrów łącznie (23B aktywnych na token) i oknem kontekstowym 1M tokenów, wydany na licencji Apache 2.0. Model jest przeznaczony do zadań programistycznych i agentowych, jest dostarczany z dedykowanym środowiskiem uruchomieniowym opartym na Rust i ma wsparcie od dnia premiery w bibliotekach transformers, vLLM i SGLang. Reflection publikuje mocne wyniki w testach programistycznych, rozumowania i wywoływania narzędzi w wersjach BF16, FP8 i NVFP4.

Hugging Face
Modele· Ważne· 🧪 Warte przetestowania

IBM łączy transkrypcję, podejmowanie decyzji i rozmowę w jednym modelu Granite Switch

IBM wydało Granite Switch 4.1 w wersjach 8B i 30B – modularny system, który obsługuje rozmowę, podejmowanie decyzji i transkrypcję mowy z jednego hostowanego endpointu zamiast z osobnych modeli. Aktualizacja dodaje ogólny adapter decyzyjny, wyspecjalizowany adapter Guardian do klasyfikacji związanych z bezpieczeństwem oraz wbudowany model ASR Granite-Speech-5.0-Turbo-CTC, który zajmuje pierwsze miejsce w rankingu OpenASR. Mimo połączenia trzech funkcji, zintegrowany model zużywa mniej więcej tyle samo VRAM co sam model bazowy.

Hugging Face
Modele· Ważne

Mistral wprowadza Timestral – rodzinę modeli do prognozowania szeregów czasowych

Mistral AI wypuścił Timestral, swoją pierwszą rodzinę modeli podstawowych do prognozowania szeregów czasowych, dostępną w czterech rozmiarach od 5 mln do 209 mln parametrów. Największy model zajmuje pierwsze miejsce we wszystkich trzech głównych publicznych benchmarkach prognozowania (GIFT-Eval, TIME, fev-bench), wyprzedzając wcześniejsze modele o większej liczbie parametrów. Modele generują probabilistyczne, wielowymiarowe prognozy, obsługują zmienne historyczne i znane zmienne przyszłe oraz działają wydajnie na CPU bez potrzeby GPU.

Mistral AI
Modele· Ważne· 🧪 Warte przetestowania

Nowy otwarty model Liquid AI wykonuje agentowe rozumowanie lokalnie z zaledwie 2B aktywnych parametrów

Liquid AI opublikowało LFM2.5-24B-A2B, model typu mixture-of-experts z 24B parametrów łącznie, ale tylko 2B aktywnych na token, zaprojektowany do uruchamiania agentów rozumujących na lokalnym sprzęcie. Wersja ta rozszerza okno kontekstu do 131K tokenów, podwaja rozmiar słownika i została wytrenowana na mniej więcej dwukrotnie większej ilości danych wstępnych niż poprzednik. W testach agentowych i wywołań narzędzi model dorównuje lub przewyższa modele mające około 50% więcej parametrów, oferując przy tym szybkie wnioskowanie zarówno na sprzęcie konsumenckim, jak i w centrach danych.

Hugging Face
Modele· Ważne· 🧪 Warte przetestowania

Google udostępnia ML Drift — nowy silnik GPU do wnioskowania AI na urządzeniu

Google wydał ML Drift, otwartoźródłowy, wieloplatformowy silnik obliczeniowy GPU do wnioskowania ML na urządzeniu, zastępujący dotychczasowy TFLite GPU delegate. Ujednolica obsługę shaderów między OpenGL ES, OpenCL, Metal i WebGPU, dodaje obsługę tensorów 5D oraz wprowadza optymalizacje etapowe dla faz prefill/decode w LLM. Jest już wdrożony produkcyjnie w Chrome, YouTube Shorts, Google Photos, Meet oraz aplikacjach partnerów Adobe i Snap.

Google Developers
Modele· Ważne· 🧪 Warte przetestowania

GLM 5.3 (753B MoE) od Z.ai trafia do Amazon Bedrock z mocnymi wynikami w kodowaniu i bezpieczeństwie

GLM 5.3 od Z.ai to model mixture-of-experts z 753 miliardami parametrów, zoptymalizowany pod kodowanie i długotrwałe zadania agentowe, dostępny teraz jako w pełni zarządzany model w Amazon Bedrock. Rozwija linię GLM 5 lepszymi wynikami benchmarków kodowania, wyróżniającymi się możliwościami cyberbezpieczeństwa (wynik CyberGym 84,5) oraz głębszą integracją z Bedrock, w tym API zgodnymi z OpenAI, buforowaniem promptów, wnioskowaniem między regionami i poziomami usług. AWS pokazuje też, jak użyć GLM 5.3 z open-source'owym agentem Strix do autoryzowanych testów penetracyjnych własnych aplikacji.

AWS Machine Learning