Pereiti prie turinio
2026 m. lapkričio 19 d., ketvirtadienis
Tenesys AI News
Prenumerata

AI modeliai

Nauji OpenAI, Anthropic, Google, Meta, Mistral, xAI, DeepSeek, Qwen ir kitų modeliai bei versijos.

“Inference” — 46 straipsniai ✕

Modeliai· 🧪 Verta testuoti

MoE modelių atskaitos optimizavimas naudojant ekspertų srautinį perdavimą

Hugging Face „Transformers“ bibliotekoje pristatė ekspertų srautinio perdavimo funkciją, skirtą „Mixture-of-Experts“ (MoE) modeliams. Šis metodas leidžia paleisti didžiulius modelius, kurie paprastai viršytų standartinius techninės įrangos atminties limitus, srautiniu būdu įkeliant aktyvius ekspertus pagal poreikį.

Hugging Face
Modeliai· Svarbu· 🧪 Verta testuoti

NVIDIA pristatė „RTX Spark“ kompaktiškus stalinius kompiuterius vietiniam DI

NVIDIA išleido naują „RTX Spark“ stalinių kompiuterių seriją, skirtą vietiniams DI procesams vykdyti. Šiuose kompiuteriuose, kuriuos gamina ASUS, „Dell“ ir MSI, naudojami 20 branduolių „NVIDIA Grace“ procesoriai, „Blackwell RTX“ grafikos plokštės bei iki 128 GB suvienytosios atminties dideliems kalbos modeliams ir nuolatiniams agentams veikti.

NVIDIA
Modeliai· Svarbu· 🧪 Verta testuoti

Naujas 1 mlrd. parametrų modelis, skirtas matematiniam mąstymui

Tyrėjai pristatė „Limite 1B - Violetto“ – kompaktišką 1 milijardo parametrų modelį, sukurtą matematinių užduočių sprendimui. Jis palaiko 131 tūkst. žetonų konteksto langą ir yra platinamas pagal „Apache 2.0“ licenciją.

arXiv cs.CL
Modeliai· Svarbu· 🧪 Verta testuoti

OpenTSLM laiko eilučių modeliai dabar prieinami per Amazon SageMaker

„Aionic Labs“ išleido „OpenTSLM-Flamingo“ – laiko eilučių kalbos modelį (TSLM), kurį dabar galima diegti per „Amazon SageMaker JumpStart“. Jis sujungia „Gemma 3 4B“ architektūrą su laiko eilučių kodavimo įrankiu, kad kartu su tekstiniu kontekstu interpretuotų operacinius duomenis.

AWS Machine Learning
Modeliai· Svarbu· 🧪 Verta testuoti

LLM išvesties spartinimas naudojant NVIDIA Dynamo per SageMaker HyperPod

AWS pristatė valdomą NVIDIA Dynamo palaikymą SageMaker HyperPod aplinkoje, supaprastindama didelių kalbos modelių diegimą. Atnaujinimas suteikia galimybę naudoti kelių mazgų (multi-node) išvestį, leidžiančią vykdyti modelius, kurie viršija vieno GPU atminties ribas per atskirtus prefill ir decode procesus.

AWS Machine Learning
Modeliai· Svarbu· 🧪 Verta testuoti

Amazon SageMaker AI pristatė KV podėliu pagrįstą užklausų nukreipimą

Amazon SageMaker AI pristatė naują 'KV_AWARE' nukreipimo strategiją, kuri nukreipia LLM užklausas į egzempliorius pagal faktinę KV podėlio būseną, o ne tik pagal užklausos pradžią. Tai optimizuoja daugiasluoksnius pokalbius ir ilgo konteksto užduotis, užtikrinant, kad užklausos patektų ten, kur jau saugomi reikiami duomenys.

AWS Machine Learning
Modeliai· Svarbu· 🧪 Verta testuoti

Retosios dėmesio architektūros optimizavimas didelio konteksto LLM

„NVIDIA“ paskelbė technines gaires, kaip kurti retosios dėmesio („sparse attention“) mechanizmus didelio konteksto modeliams. Optimizuojant „indexer“ branduolius, kurie prieš atliekant pilną dėmesio skaičiavimą nustato svarbiausius duomenis, galima žymiai padidinti išvedimo (inference) efektyvumą esant daugiau nei 100 tūkst. žetonų kontekstui.

NVIDIA Developer
Modeliai· Svarbu· 🧪 Verta testuoti

NVIDIA pristato „Nemotron for Science“ autonominiams tyrimų agentams

NVIDIA pristatė „Nemotron for Science“ – įrankių rinkinį, jungiantį „Nemotron 3.5 Super VL“ modelį su specializuotais chemijos duomenų rinkiniais ir apmokymo receptais. Ši platforma leidžia tyrėjams diegti vietinius agentus, kurie gali savarankiškai planuoti eksperimentus, vykdyti kodą ir patikrinti duomenų rezultatus.

NVIDIA
Modeliai· Svarbu· 🧪 Verta testuoti

Vieningas daugiakalbis kalbos žymėjimas su multimodaliais LLM

Pristatytas „OmniTag-Bench“ – naujas penkių kalbų vertinimo rėmas, skirtas multimodalių LLM testavimui, atliekant sinchroninę kalbos transkripciją ir metaduomenų žymėjimą. Tyrimas rodo, kad vienas, papildomai apmokytas multimodalus modelis gali išgauti transkripciją, emocijas, lytį, kalbą ir vardines entybes vienu žingsniu, pakeičiant atskirus specializuotus modelius.

arXiv cs.CL
Modeliai· Svarbu· 🧪 Verta testuoti

Hugging Face perkelia „Inference Providers“ į „OpenRouter“

„Hugging Face“ pradėjo partnerystę su „OpenRouter“, kad optimizuotų kalbos modelių išvedimo (inference) procesus. Visos užklausos dabar automatiškai nukreipiamos per „OpenRouter“, parenkant tinkamiausią teikėją pagal kainą, greitį ir patikimumą realiuoju laiku.

Hugging Face
Modeliai· Svarbu· 🧪 Verta testuoti

Kodo agentų sąnaudų optimizavimas naudojant „Amazon Bedrock“ ir „NVIDIA NeMo Switchyard“

„Amazon“ pristatė architektūrinį sprendimą, integruojantį „NVIDIA NeMo Switchyard“ biblioteką su „LiteLLM“, skirtą dinamiškai nukreipti kodo agentų užklausas tarp skirtingų „Bedrock“ modelių. Naudojant „stage“ arba „random“ maršrutizavimą, galima efektyviai paskirstyti srautą tarp galingų ir ekonomiškų modelių, optimizuojant našumą bei kaštus.

AWS Machine Learning
Modeliai· Svarbu

„OpenFold3“ dabar pasiekiama „Amazon SageMaker JumpStart“

„Amazon“ papildė „SageMaker JumpStart“ „OpenFold3-preview“ modeliu, leidžiančiu prognozuoti baltymų, DNR, RNR ir ligandų 3D struktūras. Sprendimas naudoja asinchroninius užklausų taškus ilgai trunkančioms užduotims atlikti, palaiko automatinį mastelio keitimą bei išteklių mažinimą iki nulio, kai sistema nenaudojama.

AWS Machine Learning
Modeliai· 🧪 Verta testuoti

NVIDIA pristatė tiesioginį „Python“ palaikymą DLA vykdymui

NVIDIA išleido modulį cuda.bindings.cudla, leidžiantį „Python“ kalba valdyti „Deep Learning Accelerator“ (DLA) „Jetson AGX Orin“ platformoje. Kūrėjai dabar gali suderinti GPU išankstinį apdorojimą ir DLA išvadas viename „CUDA stream“ sraute.

NVIDIA Developer
Modeliai· Svarbu· 🧪 Verta testuoti

Didelių MoE modelių diegimas naudojant kelias NVIDIA DGX stotis

„NVIDIA“ paskelbė techninį vadovą, kaip paleisti 753B parametrų GLM-5.3 MoE modelį naudojant dvi DGX stotis su GB300 procesoriais. Naudojant tenzorinį lygiagretumą (TP=2) per RDMA jungtis ir vLLM, galima įveikti vieno GPU atminties apribojimus (252 GB HBM3e) naudojant masyvius modelius.

NVIDIA Developer
Modeliai· Svarbu· 🧪 Verta testuoti

llama.cpp pasiekė 1.0.0 versiją su oficialiu API stabilumu

„llama.cpp“ projektas oficialiai pasiekė 1.0.0 versijos etapą praėjus trejiems su puse metų nuo įkūrimo. Šiame leidime pristatomas griežtas semantinis versijavimas, siekiant užtikrinti geresnį nuspėjamumą kūrėjams, naudojantiems „libllama“ ir „libggml“ C/C++ bibliotekas.

Hugging Face
Modeliai· Svarbu· 🧪 Verta testuoti

DeepSeek pristatė natyvias API funkcijas paieškai, failams ir balsui

DeepSeek išplėtė savo paslaugas, atverdama kūrėjams visą taikomųjų programų įrankių rinkinį. Nuo šiol API vartotojai gali įjungti žiniatinklio paieškos, URL nuskaitymo, failų apdorojimo ir saugos filtrų parametrus, taip pat naudoti atskirus ASR, TTS ir OCR taškus.

DeepSeek API Updates
Modeliai· Svarbu· 🧪 Verta testuoti

AWS pristatė SGLang palaikymą Trainium lustams

Amazon išleido SGLang-Neuron – įskiepį, leidžiantį kūrėjams vykdyti didelio masto DI modelius naudojant AWS Trainium aparatinę įrangą per standartinę SGLang sąsają. Ši integracija palaiko natūralų PyTorch vykdymą ir pažangias funkcijas, tokias kaip PD disaggregation naudojant EFA, siekiant optimizuoti modelių aptarnavimą.

AWS Machine Learning
Modeliai· 🧪 Verta testuoti

„MiniMax“ pristatė „H3-Image-PE“ modelį automatiniam užklausų išplėtimui

„MiniMax“ išleido „MiniMax-H3-Image-PE“ – patobulintą „Qwen3.8-27B“ modelio versiją, skirtą trumpas tekstines užklausas paversti itin išsamiais aprašymais vaizdų generavimui. Šiame leidinyje pateikiami specifiniai darbo procesai teksto į vaizdą išplėtimui bei pradinio etapo palaikymas vaizdų redagavimo užklausoms.

MiniMax (Hugging Face)
Modeliai· Svarbu· 🧪 Verta testuoti

NVIDIA išleido „Dynamo“ receptus Korėjos atviro kodo modelių diegimui

NVIDIA pristatė diegimo receptus keturiems svarbiems Korėjos atviro kodo modeliams, tokiems kaip A.X K2 ir „Solar Open 2“, naudojant „Dynamo“ sistemą. Šie receptai yra specialiai pritaikyti kelių mazgų NVIDIA B200 GPU klasteriams, kad būtų galima efektyviai vykdyti didelio masto išvadas (inference).

NVIDIA
Modeliai· Svarbu· 🧪 Verta testuoti

„NVIDIA“ pristatė „FLUX 3 Image Klein“ našumo optimizacijas „Blackwell“ GPU

„NVIDIA“ pristatė naujus „TensorRT LLM VisualGen“ optimizavimo įrankius „FLUX 3 Image Klein“ modeliui. Naudodami NVFP4 kvantavimą, branduolių sintezę, retąjį dėmesį (sparse attention) ir žingsnių talpyklą (caching), galite pasiekti iki 3,46 karto spartesnį vaizdų generavimą „NVIDIA Blackwell“ aparatūroje.

NVIDIA Developer
Modeliai· Svarbu· 🧪 Verta testuoti

NVIDIA pristato ko-projektavimo strategijas AI atminties efektyvumui didinti

NVIDIA pristatė penkias ko-projektavimo kryptis „Vera Rubin NVL72“ platformai, skirtas maksimaliai padidinti pralaidumą dirbant su agentų užduotimis. Derinant naujus duomenų formatus, tokius kaip NVFP4, ekspertinį paralelizavimą ir „Dynamo“ paskirstytojo aptarnavimo sluoksnį, sistema atmintį naudoja kaip vieningą resursą tarp GPU, pagrindinių CPU ir specializuotos saugyklos.

NVIDIA Developer