Pereiti prie turinio
2026 m. lapkričio 19 d., ketvirtadienis
Tenesys AI News
Prenumerata

Visos naujienos

TENESYS AI NEWS seka svarbiausias AI naujienas ir paaiškina, kas pasikeitė, kodėl tai svarbu ir ar technologiją verta išbandyti.

“Inference” — 107 straipsniai ✕

Tyrimai· Svarbu· 🧪 Verta testuoti

Nereikalingų „attention“ galvų šalinimas sumažina LLM atkartojamumą

Naujausi tyrimai rodo, kad daugelis didžiųjų kalbos modelių (LLM) „attention“ galvų yra perteklinės ir tiesiogiai prisideda prie pažodinio mokymo duomenų atkartojimo. Selektyviai išjungus šias galvas inferencijos metu, tyrėjai pasiekė 91,5 % atkartojimo sumažėjimą ir tuo pačiu pagerino modelio našumą standartiniuose testuose.

arXiv cs.CL
Automatizavimas· Svarbu· 🧪 Verta testuoti

Efektyvesnis „Kubernetes“ išvesties diegimas naudojant „NVIDIA Dynamo 1.4.2“

„NVIDIA“ pristatė „AI Cluster Runtime“ (AICR), skirtą „Dynamo“ išvesties infrastruktūrai sujungti į patikrintus diegimo šablonus. Šis atnaujinimas supaprastina diegimą, fiksuodamas versijas ir pašalindamas privalomas išorines priklausomybes, pvz., „NATS“, bei pristatydamas naujus „KV-aware“ maršrutizavimo kelius „Kubernetes“ aplinkoje.

NVIDIA Developer
Modeliai· Svarbu· 🧪 Verta testuoti

NVIDIA supaprastina dirbtinio intelekto diegimą „Edge“ įrenginiuose su „TensorRT Edge-LLM“

NVIDIA pristatė naują komandinės eilutės sąsają „TensorRT Edge-LLM“ vykdymo mechanizmui, leidžiančią kūrėjams greitai kurti ir testuoti dirbtinio intelekto modelius „DGX Spark 64GB“ darbo stotyse. Įrankių rinkinys palengvina modelių paleidimą vietoje ir palaiko „DSpark“ spekuliatyvųjį dekodavimą, skirtą padidinti generavimo spartą ribotų resursų aparatinėje įrangoje.

NVIDIA Developer
Agentai· Svarbu· 🧪 Verta testuoti

NVIDIA pristatė „NemoClaw“ – įrankį optimizuotam ir saugiam agentų diegimui

NVIDIA pristatė „NemoClaw“ – atvirą „blueprint“ sistemą, skirtą sujungti agentų „harness“ su optimizuotais „Nemotron“ modeliais ir saugiomis vykdymo aplinkomis. Tai leidžia kūrėjams diegti agentus, kurie yra valdomi griežtomis saugumo politikomis, išlaikant aukštą našumą savo infrastruktūroje.

NVIDIA Developer
Tyrimai· Svarbu· 🧪 Verta testuoti

Artifact Distillation: mažų modelių našumo didinimas be pakartotinio mokymo

Pristatytas „Artifact Distillation“ metodas, leidžiantis galingiems modeliams eksportuoti savo sprendimų priėmimo procesus į išorinę duomenų saugyklą. Mažesni modeliai, naudodamiesi šia informacija vykdymo metu, pasiekia geresnių rezultatų be būtinybės atlikti brangų modelio tobulinimą (fine-tuning).

arXiv cs.CL
Modeliai· Svarbu· 🧪 Verta testuoti

„NVIDIA“ pristatė multimodalų „Nemotron 3.5 Super VL“, skirtą „AWS EKS“

„NVIDIA“ išleido „Nemotron 3.5 Super VL“ – 120B parametrų multimodalų modelį su 1M žetonų kontekstiniu langu. Modelis naudoja hibridinę „Mamba-2“ ir „MoE“ architektūrą, kad subalansuotų mąstymo gebėjimus ir našumą, ir yra paruoštas diegimui „Amazon EKS“ bei „SageMaker HyperPod“ aplinkose.

AWS Machine Learning
Karšta naujienaModeliai· 🧪 Verta testuoti

„Mistral AI“ pristatė 1 trilijono parametrų modelį „Mistral Large 4“

„Mistral AI“ išleido „Mistral Large 4“ (Le Chonk) – 1 trilijono parametrų atvirojo svorio modelį, optimizuotą programavimui, kibernetiniam saugumui ir loginiam samprotavimui. Modelyje įdiegti trys skirtingi logikos režimai, leidžiantys subalansuoti našumą ir išlaidas, bei sustiprintos apsaugos priemonės saugiems agentams.

Mistral AI
Karšta naujienaKibernetinis saugumas

Aptiktas naujas dirbtiniu intelektu paremtas NIK C2 kenkėjiškos programinės įrangos karkasas

„Cisco Talos“ aptiko „NIK C2“ – sudėtingą „Windows“ operacinei sistemai skirtą kenkėjišką karkasą, parašytą „Go“ kalba, kuris tiesiogiai integruoja „OpenAI API“ užklausas. Šis įrankis leidžia užpuolikams vagoti prisijungimo duomenis, stebėti klavišų paspaudimus ir atlikti šoninį judėjimą tinkle, kartu realiuoju laiku analizuojant pavogtus duomenis pasitelkiant dirbtinį intelektą. Kenkėjiška programa bando pasinaudoti lokaliai aukos kompiuteryje sukonfigūruotais „OpenAI“ raktais, kad apmokėtų dirbtinio intelekto sąnaudas.

Cisco Talos
Automatizavimas· Svarbu· 🧪 Verta testuoti

AWS pristatė optimizuotus „Ray Train“ konteinerius EKS platformai

AWS pristatė paruoštus „Ray Train“ gilaus mokymosi konteinerius (DLC), kuriuose viename patikrintame atvaizde sujungtos „PyTorch“, „CUDA“, „NCCL“ ir „EFA“ tinklo bibliotekos. Tai leidžia jūsų įmonei diegti paskirstytojo mokymo grupes „Amazon EKS“ platformoje, nereikalaujant prižiūrėti pritaikytų atvaizdų kūrimo procesų ar spręsti sudėtingų tvarkyklių suderinamumo problemų.

AWS Machine Learning

„Xiaomi“ pristatė „OmniBrain-0“ įkūnytai robotikai

„Xiaomi“ pristatė „OmniBrain-0“ – kompaktišką modelį, sukurtą vieningam robotų valdymui. Jis naudoja progresyvaus mokymo sistemą ir duomenų ratą, vadinamą „Rubric-Guided Recursive Self-Improvement“, kad apjungtų ekspertų žinias į vieną efektyvų sprendimų priėmimo agentą.

arXiv cs.CL
Modeliai· Svarbu· 🧪 Verta testuoti

GPU infrastruktūros optimizavimas su CUDA 13.4 atminties ribojimu

NVIDIA pristatė CUDA 13.4, įdiegdama skaidrų atminties ribojimą GPU dalijimuisi. Kartu su nauju atvirojo kodo „GPU Fractioning Operator“ ir „KAI Scheduler“ v0.18.0, jūsų įmonė gali tiesiogiai „Kubernetes“ Pod anotacijose nustatyti konkrečius atminties poreikius, maksimalias ribas ir skaičiavimo režimus.

NVIDIA Developer
Modeliai· Svarbu· 🧪 Verta testuoti

Didelių MoE modelių pralaidumo didinimas NVIDIA platformose

„NVIDIA“ pristatė trijų dalių optimizavimo strategiją, skirtą pagreitinti MoE modelių išvedimą, išbandytą su 124 mlrd. parametrų „Ling-3.0-flash“ modeliu. Naudojant specializuotus „Humming“ branduolius, FP8 tikslumą „LM head“ sluoksnyje ir kelių žetonų prognozavimą (MTP), pralaidumą galima padidinti 42,5 %, o vėlinimą sumažinti 24,5 %.

NVIDIA Developer
Modeliai· Svarbu· 🧪 Verta testuoti

Google atnaujino A2UI su keičiamais išvadų formatais ir Express režimu

„Google“ atnaujino savo A2UI generatyvinio UI protokolą, įtraukdama keičiamus išvadų (inference) formatus, taip spręsdama vėlavimo ir patikimumo problemas, susijusias su ankstesniu „Direct JSON“ metodu. Naujasis „A2UI Express“ formatas sumažina tokenų sunaudojimą iki 3 kartų ir delsą iki 3 kartų, naudodamas glaustą „Python“ stiliaus sintaksę.

Google Developers
Tyrimai· Svarbu· 🧪 Verta testuoti

„TraceQuery“ optimizuoja difuzinių kalbos modelių išvestį

Tyrėjai sukūrė „TraceQuery“ – retų (sparse) dekodavimo karkasą, mažinantį difuzinių didžiųjų kalbos modelių (dLLM) skaičiavimo kaštus. Analizuojant triukšmo šalinimo trajektorijas, metodas selektyviai perskaičiuoja tik būtinas žetonų (token) reprezentacijas, užuot atlikęs perteklines operacijas, taip išlaikant aukštą tikslumą su mažesniais skaičiavimo resursais.

arXiv cs.CL
Modeliai· Svarbu· 🧪 Verta testuoti

„Boa Compressor“ suteikia LLM galimybę realiuoju laiku glaudinti ilgą kontekstą

Tyrėjai pristatė „Boa Compressor“ – internetinį įrankį, naudojantį „Mamba“ būsenos erdvės modelį, kuris linijiniu laiku suspaudžia ilgą kontekstą į trumpesnes reprezentacijas. Išskirstant žinias iš pilno konteksto LLM sąveikų, šis metodas leidžia efektyviai atlikti išvadas kiekvienai užklausai be didelių „Transformer“ pagrįsto glaudinimo delsos sąnaudų.

arXiv cs.CL
Karšta naujienaKibernetinis saugumas· 🧪 Verta testuoti

Kritinė SGLang KV talpyklos izoliacijos spraga paveikė daugiabučius AI diegimus

„Cloudflare“ nustatė SGLang išvedimo variklio saugumo klaidą, dėl kurios GLM-5.3 modelis atskleidė duomenis tarp skirtingų vartotojų užklausų. Užklausos, viršijusios sukonfigūruotą KV talpyklos dydį, buvo klaidingai apdorotos, todėl dekodavimo mazgas generavo atsakymus naudodamas senus kitų vartotojų duomenis.

Cloudflare Security

„Apple“ pristatė GHARP realaus laiko 3D galvos animacijai

„Apple“ pristatė GHARP – naują 3D žmonių galvų animacijos metodą, pagrįstą dviejų pakopų „Gaussian Splatting“ architektūra. Atskyrus statinį tapatybės atkūrimą nuo lengvo, mobiliesiems įrenginiams optimizuoto mimikos prognozavimo, modelis pasiekia aukščiausius rezultatus „Ava-256“ standarte išlaikydamas efektyvumą.

Apple Machine Learning
Modeliai· Svarbu· 🧪 Verta testuoti

IBM Spyre spartintuvas gavo natyvią PyTorch ir vLLM integraciją

IBM atnaujino savo programinės įrangos ekosistemą, kad Spyre duomenų srauto spartintuvas būtų laikomas aukščiausios klasės PyTorch pagrindine sistema. Naudodami TorchDynamo ir TorchInductor, kūrėjai dabar gali paleisti modelius IBM Z, LinuxONE ir Power sistemose, naudodami standartinius PyTorch darbo eigų ir vLLM papildinius.

IBM Research
Kibernetinis saugumas· Svarbu· 🧪 Verta testuoti

Cohere pristatė konfidencialius skaičiavimus Model Vault AI apdorojimui

Cohere išleido viešą beta versiją „Confidential Computing on Model Vault“, veikiančią su NVIDIA H100 GPU per Microsoft Azure. Sistema šifruoja duomenis naudojimo metu tiek CPU, tiek GPU lygmenyje, šifruoja pačią užklausą naudodama Oblivious HTTP (OHTTP) ir taiko nuotolinį atestavimą, kad klientas galėtų patikrinti aplinką prieš siunčiant jautrius duomenis. Jei patikra nepavyksta, klientas atsisako siųsti apsaugotą užklausą. Cohere planuoja atverti konfidencialaus apdorojimo kodą ir išplėsti palaikymą iki NVIDIA Blackwell (B200) GPU siekiant bendros prieinamybės.

Cohere

NVIDIA pristato Minerva – didelio masto GPU klasterių stebėsenos platformą

NVIDIA pristatė Minerva – operacijų platformą, kuri sujungia telemetriją iš GPU, tinklo įrangos, saugyklų ir vykdomų užduočių, kad operatoriai galėtų pastebėti problemas masiniuose GPU klasteriuose anksčiau, nei jos sukelia prastovas. Mašininio mokymosi modeliai sudaro gyvą techninės įrangos ir darbo krūvių žemėlapį, pažymi neįprastą elgseną ir sugrupuoja susijusius perspėjimus į vieną incidentą su tikėtina priežastimi, užuot užtvindę komandas atskirais pranešimais. Įmontuotas asistentas leidžia darbuotojams užduoti klausimus apie klasterio būklę natūralia kalba, o sistema gali jungtis prie automatizavimo įrankių, kad vykdytų taisymus. IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI ir Tesla jau ruošiasi ją naudoti, o Dell, Lenovo ir Supermicro siūlys ją kaip dalį savo infrastruktūros sprendimų.

NVIDIA

„NVIDIA“ praplėtė „Cosmos“ pasaulio modelių platformą naujais duomenų, mokymo ir diegimo įrankiais

„NVIDIA“ išplėtė „Cosmos“ platformą, skirtą „pasaulio modeliams“ fizinio AI ir robotikos sritims, pridėdama naujus duomenų kūrimo šablonus, modelių pritaikymo galimybes ir greitesnį diegimą. Atnaujinime – penki „Cosmos Data Factory“ šablonai sintetiniams ir papildytiems mokymo duomenims kurti, išplėstas „Cosmos Framework“ palaikymas atvirų modelių, tokių kaip GR00T, Alpamayo, QWEN ir Pi0.5, pritaikymui bei atnaujintos „Cosmos 3 NIM“ mikropaslaugos. Tokios kompanijos kaip „Porsche“, „ANYbotics“, „Ultralytics“ ir ADNOC jau naudoja šiuos įrankius autonominių transporto priemonių duomenims generuoti, robotų anomalijoms aptikti, defektų kontrolei ir saugumo stebėjimui.

NVIDIA
Agentai· 🧪 Verta testuoti

AWS pristato hibridinį agentų karkasą, mažinantį LLM kaštus derinant vietinius ir debesijos modelius

AWS paskelbė praktinį vadovą apie Adaptive Agentic Intelligence Framework (AAIF), sukurtą ant Strands Agents, kuris paprastas užklausas nukreipia į mažus vietinius modelius (per Ollama), o sudėtingas – į debesijos modelius per Amazon Bedrock. Lengvas 1 milijardo parametrų modelis (llama3.2:1b) veikia kaip orkestratorius, nusprendžiantis, kur nukreipti kiekvieną užklausą; pavyzdyje naudojamas IoT stebėjimo agentas su vietine telemetrijos užklausa, vietine vaizdo analize ir debesijos ekspertinėmis įžvalgomis. AWS teigia, kad hibridinėje konfigūracijoje apie 80 proc. srauto gali būti apdorota vietoje, nekreipiantis į mokamą API, o architektūra gali veikti visiškai krašto įrenginiuose (pvz., Raspberry Pi su 8 GB atminties), visiškai debesijoje arba hibridiniu būdu.

AWS Machine Learning
Voice AI· Svarbu· 🧪 Verta testuoti

IBM atnaujino „Granite Speech“ liniją: naujas ASR modelis, greitesnė transkripcija ir tikslesnis kalbėtojų atskyrimas

IBM pristatė tris „Granite Speech“ šeimos atnaujinimus: visiškai naują 2B kalbos-kalbos modelį (granite-speech-5.0-2b), patobulintą 470M „Turbo CTC“ modelį, skirtą greičiui, ir patobulintą 4.1-2B-Plus modelį, pritaikytą pokalbiams su keliais kalbėtojais. Kartu jie skirti tikslesnei transkripcijai/vertimui, greitam atpažinimui įrenginyje ir tiksliam kalbėtojų bei laiko žymių nurodymui. Visi trys lieka pagal Apache 2.0 licenciją.

Hugging Face

NVIDIA ir Vašingtono universitetas pristato RFD4-Proteina spartesniam baltymų kūrimui su DI

NVIDIA BioNeMo komanda kartu su Vašingtono universiteto Baltymų dizaino institutu pristatė RFD4-Proteina – modelį, kuris vienu metu sugeneruoja tiek baltymo seką, tiek pilną atominę struktūrą, atsisakant atskiro atvirkštinio klostymo (inverse-folding) žingsnio. Dirbdamas su liekanos lygio (residue-level) reprezentacija ir supaprastintu difuzijos procesu, modelis atlieka tik apie 60 žingsnių vietoj maždaug 400, todėl generavimas tampa gerokai greitesnis, o atminties sąnaudos – mažesnės nei ankstesnio modelio RFD3, generuojant 200 liekanų baltymą. Generavimo metu modelis taip pat gali vykdyti apdovanojimu grįstą (reward-guided) paiešką, kuri vertina ir atrenka geriausius dalinius sprendimus naudodama GPU pagreitintus įrankius, tokius kaip OpenFold3 ir TMol. Modelis pateikiamas tiek kaip atvirojo kodo versija GitHub, tiek kaip NIM mikroservisas su HTTP sąsaja, o specialūs įrankiai leidžia automatizuotiems agentams susieti generavimo, paieškos ir vertinimo etapus.

NVIDIA Developer