Przejdź do treści
czwartek, 19 listopada 2026
Tenesys AI News
Subskrypcja

Wszystkie wiadomości

TENESYS AI NEWS śledzi najważniejsze wiadomości o AI i wyjaśnia, co się zmieniło, dlaczego to ważne i czy technologię warto przetestować.

“Inference” — 67 artykułów ✕

Modele· 🧪 Warte przetestowania

Optymalizacja wnioskowania modeli MoE poprzez strumieniowanie ekspertów

Hugging Face wprowadziło strumieniowanie ekspertów dla modeli typu Mixture-of-Experts (MoE) w bibliotece Transformers. Technika ta umożliwia uruchamianie modeli o ogromnych rozmiarach, które zazwyczaj przekraczałyby standardowe limity pamięci sprzętowej, dzięki strumieniowaniu aktywnych ekspertów w czasie rzeczywistym.

Hugging Face
Modele· Ważne· 🧪 Warte przetestowania

NVIDIA wprowadza kompaktowe komputery stacjonarne RTX Spark do lokalnej sztucznej inteligencji

NVIDIA wprowadziła na rynek nową linię kompaktowych komputerów stacjonarnych od firm ASUS, Dell i MSI, zaprojektowanych z myślą o lokalnych obciążeniach AI. Systemy te wyposażono w 20-rdzeniowe procesory NVIDIA Grace, układy GPU Blackwell RTX oraz do 128 GB zunifikowanej pamięci, co umożliwia uruchamianie dużych modeli językowych i działających w trybie ciągłym agentów.

NVIDIA
Modele· Ważne· 🧪 Warte przetestowania

Nowy model 1B skoncentrowany na rozumowaniu matematycznym

Naukowcy udostępnili Limite 1B - Violetto, kompaktowy model o 1 miliardzie parametrów, zaprojektowany do rozwiązywania problemów matematycznych. Obsługuje okno kontekstowe o długości 131 tys. tokenów i jest udostępniony na licencji Apache 2.0.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Pomiar kosztów odmów LLM za pomocą istniejących logów

Nowa metoda przyczynowa o nazwie RAW (Refusal Aversion in the Wild) wykorzystuje stochastyczność LLM do mierzenia, jak często odmowy odpowiedzi prowadzą do porzucenia platformy przez użytkowników. Dzięki analizie logów z interakcji możesz określić dokładny wpływ odmów na późniejsze zaangażowanie użytkowników.

arXiv cs.CL
Modele· Ważne· 🧪 Warte przetestowania

Modele czasowe OpenTSLM dostępne teraz w Amazon SageMaker

Firma Aionic Labs wprowadziła OpenTSLM-Flamingo, model językowy szeregów czasowych (TSLM), który można wdrażać za pośrednictwem Amazon SageMaker JumpStart. Łączy on architekturę Gemma 3 4B z enkoderem szeregów czasowych, aby interpretować wskaźniki operacyjne wraz z kontekstem tekstowym.

AWS Machine Learning
Modele· Ważne· 🧪 Warte przetestowania

Skalowanie inferencji LLM dzięki NVIDIA Dynamo na SageMaker HyperPod

AWS wprowadziło zarządzane wsparcie dla NVIDIA Dynamo w SageMaker HyperPod, co upraszcza wdrożenia wielkoskalowych modeli językowych. Aktualizacja wprowadza inferencję wielowęzłową, umożliwiając obsługę modeli przekraczających pamięć pojedynczego GPU dzięki rozdzieleniu faz prefill i decode.

AWS Machine Learning
Modele· Ważne· 🧪 Warte przetestowania

Amazon SageMaker AI wprowadza routing świadomy pamięci podręcznej KV

Amazon SageMaker AI wprowadziło strategię routingu 'KV_AWARE', która kieruje zapytania LLM do instancji na podstawie stanu ich pamięci podręcznej KV, a nie tylko nagłówków promptów. Optymalizuje to wieloetapowe konwersacje i długie konteksty, zapewniając obsługę zapytań tam, gdzie dane są już dostępne w pamięci GPU.

AWS Machine Learning
Modele· Ważne· 🧪 Warte przetestowania

Optymalizacja jąder rzadkiej uwagi dla modeli LLM z długim kontekstem

NVIDIA opublikowała techniczne wytyczne dotyczące projektowania rzadkiej uwagi („sparse attention”) w modelach z długim kontekstem. Poprzez optymalizację jąder indeksujących („indexer”), które identyfikują istotne tokeny przed pełną analizą, można znacząco poprawić wydajność wnioskowania przy kontekście przekraczającym 100 tys. tokenów.

NVIDIA Developer
Modele· Ważne· 🧪 Warte przetestowania

NVIDIA prezentuje Nemotron for Science dla autonomicznych agentów badawczych

NVIDIA wprowadziła 'Nemotron for Science', zestaw narzędzi łączący model Nemotron 3.5 Super VL ze specjalistycznymi zbiorami danych chemicznych i przepisami potreningowymi. Platforma ta umożliwia badaczom wdrażanie lokalnych agentów, którzy potrafią samodzielnie planować eksperymenty, uruchamiać kod i weryfikować wyniki danych.

NVIDIA
Modele· Ważne· 🧪 Warte przetestowania

Ujednolicone wielojęzyczne tagowanie mowy z wykorzystaniem multimodalnych LLM

Badacze przedstawili „OmniTag-Bench”, nowy pięciojęzyczny zestaw testowy do oceny multimodalnych modeli LLM pod kątem jednoczesnej transkrypcji mowy i tagowania metadanych. Badanie wykazuje, że jeden, dotrenowany multimodalny model może wyodrębniać transkrypcje, emocje, płeć, język oraz nazwy własne w jednym przebiegu wnioskowania, zastępując łańcuchy specjalistycznych modeli.

arXiv cs.CL
Agenci· Ważne· 🧪 Warte przetestowania

TokenEconomizer obniża koszty agentów programistycznych dzięki optymalizacji opartej na doświadczeniu

TokenEconomizer to nowa wtyczka open-source, która pozwala agentom programistycznym AI uczyć się z poprzednich sesji w ramach konkretnego repozytorium. Śledząc powtarzające się wzorce, usuwając zbędne narzędzia i zapobiegając pętlom awarii, znacząco redukuje zużycie tokenów bez zmiany agenta lub jego bazowego modelu.

Microsoft Research
Modele· Ważne· 🧪 Warte przetestowania

Hugging Face przenosi Inference Providers na OpenRouter

Hugging Face nawiązało współpracę z OpenRouter, aby obsługiwać inferencję modeli językowych. Wszystkie zapytania są teraz automatycznie kierowane przez OpenRouter, który wybiera najlepszego dostawcę w oparciu o bieżące ceny, szybkość i niezawodność.

Hugging Face
Badania· Ważne· 🧪 Warte przetestowania

Kontrola zachowania LLM poprzez optymalizację danych wejściowych

Naukowcy przedstawili ActGCG, metodę pozwalającą na replikację efektów sterowania aktywacją (activation steering)—co zazwyczaj wymaga dostępu do wnętrza modelu—poprzez optymalizację sufiksów wejściowych. Technika ta pozwala na odtworzenie specyficznych zachowań, takich jak wymuszanie konkretnego języka, jedynie za pomocą zewnętrznych danych wejściowych.

arXiv cs.CL
Modele· Ważne· 🧪 Warte przetestowania

Optymalizacja kosztów agentów kodujących w Amazon Bedrock dzięki NVIDIA NeMo Switchyard

Amazon opublikował architekturę referencyjną integrującą bibliotekę NVIDIA NeMo Switchyard z LiteLLM w celu dynamicznego kierowania zapytań agentów programistycznych między różnymi modelami w Bedrock. Stosując routing warstwowy (stage) lub losowy (random), możesz przekierowywać ruch między modelami o wysokiej wydajności a modelami ekonomicznymi, balansując koszty i skuteczność.

AWS Machine Learning
PilneCyberbezpieczeństwo· 🧪 Warte przetestowania

Wzrost popularności autonomicznych frameworków do testów penetracyjnych AI

Od początku października gwałtownie wzrosła liczba frameworków do testów penetracyjnych opartych na sztucznej inteligencji, z tysiącami aktywnych instancji. Te autonomiczne narzędzia automatyzują cały łańcuch ataku cybernetycznego, pozwalając na łańcuchowe wykorzystywanie poświadczeń i szybkie przemieszczanie się wewnątrz infrastruktury.

Cloudflare Security
Modele· 🧪 Warte przetestowania

NVIDIA wprowadza natywne wsparcie dla wnioskowania DLA w Pythonie

Firma NVIDIA udostępniła moduł cuda.bindings.cudla, umożliwiający bezpośrednie zarządzanie akceleratorem Deep Learning Accelerator (DLA) na platformie Jetson AGX Orin za pomocą języka Python. Programiści mogą teraz łączyć wstępne przetwarzanie GPU i wnioskowanie DLA w jednym strumieniu CUDA.

NVIDIA Developer
Modele· Ważne· 🧪 Warte przetestowania

Skalowanie dużych modeli MoE na wielu stacjach NVIDIA DGX

Firma NVIDIA udostępniła workflow techniczny umożliwiający uruchomienie modelu MoE GLM-5.3 o 753 mld parametrów na dwóch stacjach DGX wyposażonych w GB300. Dzięki zastosowaniu zrównoleglenia tensorowego (TP=2) poprzez połączenia RDMA i vLLM, można pokonać ograniczenia pamięci pojedynczego GPU (252 GB HBM3e) w przypadku modeli o ogromnej skali.

NVIDIA Developer
Modele· Ważne· 🧪 Warte przetestowania

llama.cpp osiąga wersję 1.0.0 z formalną stabilnością API

Projekt llama.cpp oficjalnie osiągnął kamień milowy 1.0.0, trzy i pół roku po powstaniu. Wydanie wprowadza rygorystyczne wersjonowanie semantyczne, aby zapewnić większą przewidywalność dla programistów korzystających z bibliotek C/C++: libllama i libggml.

Hugging Face
Modele· Ważne· 🧪 Warte przetestowania

DeepSeek wprowadza natywne funkcje API dla wyszukiwania, plików i głosu

DeepSeek udostępnił użytkownikom API cały swój zestaw narzędzi aplikacyjnych. Deweloperzy mogą teraz aktywować parametry wyszukiwania w sieci, czytania URL, parsowania plików oraz filtrów bezpieczeństwa bezpośrednio w zapytaniach czatu, a także korzystać z niezależnych punktów końcowych ASR, TTS i OCR.

DeepSeek API Updates
Modele· Ważne· 🧪 Warte przetestowania

AWS wprowadza obsługę SGLang dla układów Trainium

Firma Amazon udostępniła SGLang-Neuron – wtyczkę, która pozwala programistom uruchamiać wielkoskalowe modele AI na sprzęcie AWS Trainium przy użyciu standardowego interfejsu SGLang. Integracja ta umożliwia natywne wykonywanie kodu PyTorch i wspiera zaawansowane funkcje, takie jak PD disaggregation za pośrednictwem EFA, w celu optymalizacji serwowania modeli.

AWS Machine Learning
Badania· Ważne· 🧪 Warte przetestowania

Odkryto matematyczne granice wyrównywania modeli językowych

Naukowcy wyznaczyli teoretyczne limity maksymalnego wzrostu nagrody podczas wyrównywania modeli językowych przy ustalonych ograniczeniach dywergencji KL. Wyniki pokazują, że metoda próbkowania „best-of-N” skutecznie zbliża się do tych teoretycznych granic, podczas gdy powszechne metody uczenia przez wzmacnianie, takie jak PPO i GRPO, pozostają obecnie suboptymalne.

Apple Machine Learning
Automatyzacja· Ważne· 🧪 Warte przetestowania

AlloyDB wprowadza natywne funkcje AI do klasyfikacji i ekstrakcji danych przez SQL

Google udostępniło dwie nowe funkcje SQL w AlloyDB, ai.classify oraz ai.extract, umożliwiające uruchamianie operacji opartych na Gemini bezpośrednio w PostgreSQL 18. Funkcje te automatyzują przetwarzanie nieustrukturyzowanego tekstu, jak analiza sentymentu czy ekstrakcja do JSON, bez konieczności stosowania zewnętrznych wrapperów API.

Google Cloud AI
Automatyzacja· Ważne· 🧪 Warte przetestowania

NVIDIA AICR wprowadza listę materiałów AI (AIBOM) do śledzenia obciążeń

NVIDIA zintegrowała projekt open-source k8s-aibom ze swoim środowiskiem AI Cluster Runtime (AICR). Pozwala to zespołom platformowym na automatyczne generowanie i audytowanie listy materiałów AI (AIBOM) dla obciążeń działających w Kubernetes, umożliwiając identyfikację modeli, środowisk uruchomieniowych wnioskowania oraz zależności.

NVIDIA Developer