Przejdź do treści
czwartek, 19 listopada 2026
Tenesys AI News
Subskrypcja

Wszystkie wiadomości

TENESYS AI NEWS śledzi najważniejsze wiadomości o AI i wyjaśnia, co się zmieniło, dlaczego to ważne i czy technologię warto przetestować.

“Inference” — 88 artykułów ✕

Badania· Ważne· 🧪 Warte przetestowania

Artifact Distillation: zwiększanie wydajności małych modeli bez douczania

Badacze zaproponowali metodę 'Artifact Distillation', w której zaawansowane modele eksportują swoje procedury rozwiązywania problemów do banku artefaktów. Mniejsze modele odpytują ten bank w czasie rzeczywistym, co pozwala na poprawę ich wyników bez konieczności kosztownego trenowania.

arXiv cs.CL
Modele· Ważne· 🧪 Warte przetestowania

NVIDIA udostępnia multimodalny model Nemotron 3.5 Super VL dla AWS EKS

NVIDIA wprowadziła Nemotron 3.5 Super VL, multimodalny model 120B z oknem kontekstowym 1M tokenów. Model wykorzystuje hybrydową architekturę Mamba-2 oraz MoE, aby zrównoważyć możliwości rozumowania z wydajnością wnioskowania, i jest gotowy do wdrożenia w środowiskach Amazon EKS oraz SageMaker HyperPod.

AWS Machine Learning
PilneModele· 🧪 Warte przetestowania

Mistral AI prezentuje Mistral Large 4: Model o parametrach 1T

Mistral AI udostępniło Mistral Large 4 (Le Chonk), model typu open-weight z 1 bilionem parametrów, zoptymalizowany pod kątem kodowania, cyberbezpieczeństwa i rozumowania. Model wprowadza trzy tryby rozumowania w celu zrównoważenia wydajności i kosztów oraz oferuje ulepszone mechanizmy bezpieczeństwa dla agentów AI.

Mistral AI

Wykryto nowy szkielet złośliwego oprogramowania NIK C2 wykorzystujący sztuczną inteligencję

Cisco Talos zidentyfikowało NIK C2 – zaawansowany szkielet złośliwego oprogramowania dla systemu Windows, napisanego w języku Go, który integruje bezpośrednie wywołania API OpenAI. Framework pozwala atakującym na kradzież danych uwierzytelniających, rejestrowanie naciśnięć klawiszy i przemieszczanie się w sieci, jednocześnie analizując skradzione dane w czasie rzeczywistym przy użyciu AI. Złośliwe oprogramowanie próbuje wykorzystać lokalnie skonfigurowane klucze OPENAI_API_KEY na komputerze ofiary, aby sfinansować swoje operacje AI.

Cisco Talos
Automatyzacja· Ważne· 🧪 Warte przetestowania

AWS wprowadza zoptymalizowane kontenery Ray Train dla EKS

AWS wprowadziło gotowe kontenery Ray Train Deep Learning (DLC), które integrują biblioteki PyTorch, CUDA, NCCL oraz EFA w jednym przetestowanym obrazie. To podejście pozwala Twojej firmie wdrażać klastry do uczenia rozproszonego na Amazon EKS bez konieczności utrzymywania własnych potoków budowania obrazów czy rozwiązywania złożonych problemów z kompatybilnością sterowników.

AWS Machine Learning
Modele· Ważne· 🧪 Warte przetestowania

Optymalizacja infrastruktury GPU dzięki limitom pamięci w CUDA 13.4

NVIDIA udostępniła CUDA 13.4, wprowadzając sprzętowo przezroczyste limity pamięci dla współdzielenia GPU. W połączeniu z nowym operatorem GPU Fractioning i KAI Scheduler v0.18.0, Twoja firma może definiować żądania pamięci, limity wzrostu oraz tryby obliczeniowe bezpośrednio w adnotacjach Podów Kubernetes.

NVIDIA Developer
Modele· Ważne· 🧪 Warte przetestowania

Zwiększanie przepustowości dużych modeli MoE na architekturze NVIDIA

Firma NVIDIA opublikowała strategię optymalizacji wnioskowania MoE, przetestowaną na modelu Ling-3.0-flash o 124 miliardach parametrów. Dzięki zastosowaniu specjalistycznych jąder Humming, precyzji FP8 dla LM head oraz predykcji wielu tokenów (MTP), można uzyskać wzrost przepustowości o 42,5% oraz redukcję opóźnień o 24,5%.

NVIDIA Developer
Modele· Ważne· 🧪 Warte przetestowania

Google aktualizuje A2UI o wymienne formaty wnioskowania i tryb Express

Firma Google zaktualizowała protokół generatywnego UI (A2UI), wprowadzając wymienne formaty wnioskowania (inference), aby rozwiązać problemy z opóźnieniami i niezawodnością występujące w poprzednim podejściu Direct JSON. Nowy format, A2UI Express, redukuje zużycie tokenów nawet 3-krotnie i opóźnienia nawet 3-krotnie, wykorzystując zwięzłą składnię w stylu Pythona.

Google Developers
Badania· Ważne· 🧪 Warte przetestowania

TraceQuery optymalizuje inferencję w dyfuzyjnych modelach językowych

Naukowcy opracowali TraceQuery, framework rzadkiego (sparse) dekodowania, który redukuje koszty obliczeniowe dyfuzyjnych dużych modeli językowych (dLLM). Poprzez analizę trajektorii odszumiania, metoda selektywnie przelicza tylko niezbędne reprezentacje tokenów zamiast wykonywać zbędne operacje, zachowując wysoką dokładność przy mniejszym zapotrzebowaniu na moc obliczeniową.

arXiv cs.CL
Modele· Ważne· 🧪 Warte przetestowania

Boa Compressor wprowadza kompresję długiego kontekstu do modeli LLM w czasie rzeczywistym

Naukowcy przedstawili Boa Compressor, narzędzie typu online wykorzystujące model przestrzeni stanów Mamba do kompresji długiego kontekstu do krótszych reprezentacji w czasie liniowym. Dzięki destylacji wiedzy z pełnych interakcji LLM, metoda ta pozwala na wydajne wnioskowanie przy każdym zapytaniu, eliminując ogromne narzuty opóźnień typowe dla kompresji opartej na Transformerach.

arXiv cs.CL
PilneCyberbezpieczeństwo· 🧪 Warte przetestowania

Krytyczna luka w izolacji pamięci podręcznej KV w SGLang wpływa na wdrożenia AI

Firma Cloudflare wykryła lukę bezpieczeństwa w silniku wnioskowania SGLang, która powodowała wyciek danych między zapytaniami użytkowników w modelu GLM-5.3. Zapytania przekraczające rozmiar skonfigurowanej pamięci podręcznej KV były błędnie przetwarzane, co prowadziło do generowania odpowiedzi na podstawie danych z sesji innych użytkowników.

Cloudflare Security
Modele· Ważne· 🧪 Warte przetestowania

Akcelerator IBM Spyre zyskuje natywną integrację z PyTorch i vLLM

IBM zaktualizowało swój ekosystem oprogramowania, traktując akcelerator danych Spyre jako pierwszorzędny backend PyTorch. Dzięki wykorzystaniu TorchDynamo i TorchInductor, programiści mogą teraz uruchamiać modele na systemach IBM Z, LinuxONE i Power przy użyciu standardowych przepływów pracy PyTorch i wtyczek vLLM.

IBM Research
Cyberbezpieczeństwo· Ważne· 🧪 Warte przetestowania

Cohere wprowadza obliczenia poufne dla wnioskowania AI w Model Vault

Cohere udostępniło publiczną wersję beta „Confidential Computing on Model Vault”, działającą na GPU NVIDIA H100 za pośrednictwem Microsoft Azure. System szyfruje dane w trakcie przetwarzania zarówno na CPU, jak i GPU, szyfruje samą treść żądania przy użyciu Oblivious HTTP (OHTTP) oraz stosuje zdalną atestację, dzięki czemu klient może zweryfikować środowisko przed wysłaniem wrażliwych danych. Jeśli weryfikacja się nie powiedzie, klient odmawia wysłania chronionego żądania. Cohere planuje udostępnić kod stosu poufnego wnioskowania jako open source i rozszerzyć wsparcie o GPU NVIDIA Blackwell (B200) w drodze do pełnej dostępności.

Cohere
Automatyzacja· Ważne

NVIDIA prezentuje Minerva – platformę do monitorowania wielkich klastrów GPU

NVIDIA zaprezentowała Minerva, platformę operacyjną łączącą telemetrię z GPU, sprzętu sieciowego, pamięci masowej i uruchomionych zadań, aby operatorzy mogli wykrywać problemy w ogromnych klastrach GPU, zanim doprowadzą one do przestojów. Modele uczenia maszynowego tworzą na bieżąco mapę sprzętu i obciążeń, oznaczają nietypowe zachowania i grupują powiązane alerty w jeden incydent z prawdopodobną przyczyną, zamiast zalewać zespoły osobnymi powiadomieniami. Wbudowany asystent pozwala pytać o stan klastra w języku naturalnym, a system może łączyć się z narzędziami automatyzacji, by wdrażać poprawki. IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI i Tesla planują jej wdrożenie, a Dell, Lenovo i Supermicro będą oferować ją w ramach swoich rozwiązań infrastrukturalnych.

NVIDIA
Voice AI· Ważne· 🧪 Warte przetestowania

IBM odświeża rodzinę Granite Speech: nowy model ASR, szybsza transkrypcja i dokładniejsze przypisywanie mówców

IBM wprowadził trzy aktualizacje rodziny Granite Speech: zupełnie nowy model mowa-język na 2B parametrów (granite-speech-5.0-2b), ulepszony model Turbo CTC na 470M parametrów nastawiony na szybkość oraz poprawiony model 4.1-2B-Plus dostosowany do nagrań z wieloma mówcami. Razem odpowiadają za wysoką dokładność transkrypcji/tłumaczenia, szybkie rozpoznawanie na urządzeniu oraz dokładne etykietowanie mówców i znaczników czasu. Wszystkie trzy pozostają na licencji Apache 2.0.

Hugging Face
Badania· Ważne· 🧪 Warte przetestowania

Plugin IBM pozwala vLLM monitorować i sterować LLM w czasie rzeczywistym niemal bez spowolnienia

IBM Research wydał vLLM-Hook MIA, plugin dla open-source'owego silnika wnioskowania vLLM, który pozwala deweloperom obserwować i ingerować w wewnętrzne stany modelu w czasie działania — np. odrzucać złośliwe prompty, oznaczać zmyślone fakty czy korygować ton odpowiedzi — bez wyłączania szybkiego trybu wykonywania opartego na powtarzaniu grafu w vLLM. Według raportu technicznego IBM, MIA jest nawet 20 razy szybszy niż poprzedni vLLM-Hook i nawet 14 razy szybszy niż metody wstawiające kod bezpośrednio do modelu. W testach sterowanie modelem 8B Llama lub 1,5B Qwen dodawało tylko około 2% opóźnienia, a model 70B Llama - około 6%.

IBM Research
Biznes· Ważne

Google Cloud i NVIDIA uruchamiają instancje A5X oparte na Vera Rubin

Google Cloud i NVIDIA ogłosiły ogólną dostępność instancji A5X opartych na GPU NVIDIA Vera Rubin NVL72, kartach ConnectX-9 SuperNIC oraz sieci Google Virgo, przeznaczonych do zadań agentowych i uczenia ze wzmocnieniem na dużą skalę. Google Cloud planuje rozbudować infrastrukturę Vera Rubin do nawet 960 000 GPU Rubin w wielu lokalizacjach, z ogólną dostępnością w przyszłym miesiącu i planowaną ekspansją do Europy. Pierwszym klientem jest londyńska firma Ineffable Intelligence, założona przez twórcę AlphaGo Davida Silvera, wykorzystująca platformę do budowy systemów „superlearner”.

NVIDIA
Modele· Ważne· 🧪 Warte przetestowania

NVIDIA rozszerza linię Nemotron o nowe modele wyszukiwania, rerankingu i parsowania dokumentów dla agentów AI

NVIDIA dodała trzy nowe, otwarte i komercyjnie licencjonowane komponenty do linii Nemotron Retriever: modele Embed (8B i 1B, w wersjach BF16 i NVFP4) do przeszukiwania tekstu i obrazów, model Rerank (8B), który porządkuje pobrane dowody według trafności, oraz kompaktowy model Parse o 631M parametrów, który zamienia obrazy dokumentów na ustrukturyzowany tekst. Celem jest dostarczenie agentom AI lepszych, bardziej trafnych dowodów, dzięki czemu potrzebują mniej rund wyszukiwania i mniej tokenów inferencji do udzielenia odpowiedzi. NVIDIA podaje, że nowe modele Embed i Rerank zajmują pierwsze miejsca w rankingach ViDoRe v3.1 odpowiednio dla wyszukiwania gęstego i rerankingu.

Hugging Face
Modele· Ważne· 🧪 Warte przetestowania

AWS i i14 rezygnują z KV cache: model z liniową uwagą 3B na Trainium2

Firma badawcza AI i14 we współpracy z AWS przeniosła swój model Laplace 3B — 24-warstwową architekturę opartą na Gated Linear Attention (GLA) zamiast standardowego mechanizmu uwagi transformerów — na układy AWS Trainium2, wykorzystując natywny PyTorch (TorchNeuron Native). Zamiast rosnącego z każdym tokenem KV cache, model utrzymuje stały stan rekurencyjny o rozmiarze 29,5 MB na sekwencję. Na pojedynczej instancji trn2.48xlarge zespół osiągnął około 120 000 tokenów na sekundę podczas treningu i obsłużył 11 544 tokeny wyjściowe na sekundę przy 1 280 równoległych sekwencjach, korzystając z niezmodyfikowanego silnika vLLM.

AWS Machine Learning
Modele· Ważne

Google uruchamia natywne silniki wnioskowania PyTorch dla vLLM i SGLang na TPU

Google ogłosił nowe silniki wnioskowania (inference) vLLM i SGLang, zbudowane bezpośrednio na PyTorch dla TPU, opracowane odpowiednio z Inferact i RadixArk. Silniki działają na nowej warstwie TorchTPU, która czyni TPU natywnym urządzeniem PyTorch, zastępując wcześniejsze podejście oparte na JAX. Google podaje publiczny wynik benchmarku na poziomie 2,01 centa za milion tokenów przy konfiguracjach o wysokiej współbieżności w ramach projektu SemiAnalysis InferenceX, a także wsparcie dla obciążeń agentowych, długiego kontekstu, rozproszonego serwowania i modeli multimodalnych.

Google Developers
Badania· Ważne

Google ukończył otwartą architekturę edge-AI Coral NPU i kompilator, pojawiły się pierwsze komercyjne chipy

Google Research ogłosił ukończenie ostatniego kamienia milowego otwartego standardu sprzętowego Coral NPU – 32-bitowej architektury RISC-V z nową jednostką Matrix Execution Unit (do 1 TOPS, ok. 10mW) oraz wydał kompilator open-source v1.0 oparty na IREE/MLIR, który przenosi modele z JAX, PyTorch i TensorFlow bezpośrednio na sprzęt. Synaptics wprowadza pierwsze komercyjne chipy oparte na tym standardzie, w tym serię mikrokontrolerów Astra SR200 (400 GOPS) oraz nowe zestawy deweloperskie Coralboard SR i SL, przy czym wersja SL jest już ogólnie dostępna przez DigiKey. Google współpracuje też z VeriSilicon i GlobalFoundries nad wdrożeniem otwartego RTL do produkcji chipów.

Google Developers
Agenci· Ważne· 🧪 Warte przetestowania

Wydano llm-d 1.0: otwartoźródłowy stos wnioskowania Kubernetes-native dojrzały do produkcji

Red Hat, IBM i Google ogłosiły llm-d 1.0 — rozproszony system obsługi wnioskowania LLM natywny dla Kubernetes, który wykroczył poza demonstrowanie pojedynczych technik wydajnościowych i stał się gotowy do pełnej eksploatacji produkcyjnej. Wersja dodaje wielodostępową kontrolę jakości usług, operacje bez przestojów oraz obsługę świadomą agentów, dzięki czemu ten sam endpoint może efektywnie obsługiwać zarówno ludzi, jak i autonomiczne agenty. W jednym teście router świadomy prefiksów llm-d osiągnął 97% ponownego wykorzystania cache w obciążeniu agentowym związanym z kodowaniem, a IBM/Red Hat uruchomili 3000 jednoczesnych agentów inżynierii oprogramowania za 5-10 razy mniej niż koszt tego samego modelu jako usługi hostowanej.

IBM Research
Agenci· Ważne· 🧪 Warte przetestowania

Amazon Bedrock wymusza zgodny ze schematem JSON dla wszystkich modeli Claude

AWS wprowadził strukturyzowane odpowiedzi dla wszystkich modeli Anthropic Claude dostępnych w Amazon Bedrock — zarówno w standardowym endpoincie runtime, jak i nowszym endpoincie Mantle przeznaczonym do zadań agentowych. Zamiast liczyć na to, że model zwróci poprawny JSON, deweloperzy mogą teraz wymusić dokładną zgodność odpowiedzi ze schematem dzięki ograniczonemu dekodowaniu, które blokuje generowanie tokenów łamiących format. Dodatkowa funkcja, strict tool use, zapewnia taką samą gwarancję dla parametrów wywołań narzędzi, dzięki czemu przepływy pracy agentów nie zawodzą przez błędnie sformatowane dane wejściowe.

AWS Machine Learning
Voice AI· Ważne· 🧪 Warte przetestowania

Deepgram obniżył koszty transkrypcji wsadowej dzięki przeniesieniu Nova-3 na AWS Trainium2

AWS i Deepgram wspólnie przebudowały model rozpoznawania mowy Nova-3, aby działał natywnie na chipach Trainium2 zamiast standardowej infrastruktury PyTorch opartej na GPU, celując w duże zadania transkrypcji offline. Prace objęły przepisanie wąskich gardeł na własne kernele oraz zastąpienie warstwy serwującej Pythona środowiskiem uruchomieniowym w Rust, komunikującym się bezpośrednio z Trainium. Efekt: pojedyncza instancja trn2.3xlarge uruchamiająca osiem równoległych kopii modelu przetwarza 11-70% więcej dźwięku na dolara niż poprzednia infrastruktura Deepgram, a podobne oszczędności mogą być dostępne dla klientów samodzielnie hostujących rozwiązanie na SageMaker.

AWS Machine Learning