Pereiti prie turinio
2026 m. lapkričio 19 d., ketvirtadienis
Tenesys AI News
Prenumerata

AI tyrimai

Moksliniai darbai, benchmarkai, architektūros, reasoning ir mokymo metodai.

“Inference” — 24 straipsniai ✕

Tyrimai· Svarbu· 🧪 Verta testuoti

LLM atsisakymų sąnaudų vertinimas naudojant egzistuojančius žurnalus

Naujas priežastinis metodas RAW (Refusal Aversion in the Wild) naudoja LLM stochastiškumą, kad išmatuotų, kaip dažnai vartotojų užklausų atmetimas lemia platformos palikimą. Analizuodami egzistuojančius sąveikos žurnalus, galite nustatyti tikslų priežastinį atsisakymų poveikį tolesniam vartotojų įsitraukimui.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

LLM elgsenos valdymas optimizuojant įvestį

Tyrėjai pristatė ActGCG metodą, leidžiantį atkartoti aktyvavimo valdymo (activation steering) efektus, kurie anksčiau reikalavo vidinės prieigos prie modelio, optimizuojant įvesties sufiksus. Šis metodas leidžia atkartoti specifinius elgsenos modelius, pavyzdžiui, kalbos keitimą, vien tik per išorinio teksto įvestį.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

Atrastos matematinės kalbos modelių derinimo ribos

Tyrėjai nustatė teorines maksimalaus atlygio padidėjimo ribas derinant kalbos modelius esant fiksuotiems KL-divergencijos apribojimams. Tyrimas rodo, kad „best-of-N“ atrankos metodas priartėja prie šių teorinių ribų, o įprasti stiprinamojo mokymosi metodai, tokie kaip PPO ir GRPO, šiuo metu pasiekia suboptimalius rezultatus.

Apple Machine Learning
Tyrimai· Svarbu· 🧪 Verta testuoti

„FlagRot“ technika pagerina mažų bitų KV talpyklos tikslumą

Naujas metodas, vadinamas „FlagRot“, optimizuoja raktų-reikšmių (KV) talpyklos kvantavimą ilgo konteksto modeliams. Selektyviai pasukant raktų segmentus pagal dėmesio (attention) klaidą, o ne taikant bendrąją rotaciją, sumažinami tikslumo nuostoliai naudojant 2 bitų arba 4 bitų talpyklas.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

Sumanymo istorijos glaudinimas mažina dirbtinio intelekto agentų kaštus

Nauji tyrimai rodo, kad samprotavimo istoriją galima perrašyti į kompaktiškus būsenos įrašus prieš įvedant naujus įrankių rezultatus. Šis metodas veiksmingai sumažina būsimų samprotavimo žetonų skaičių ir bendras agento išlaidas, pašalindamas nereikalingas mintis, nereikalaujant modelio perkvalifikavimo.

arXiv cs.CL
Tyrimai· 🧪 Verta testuoti

Kelių juodraščių spekuliacinio dekodavimo efektyvumo optimizavimas

Tyrėjai sukūrė metodą, leidžiantį apskaičiuoti teorinę kelių juodraščių spekuliacinio dekodavimo (MDSD) efektyvumo ribą, sprendžiant optimalaus transportavimo problemos dualiąją formą. Tyrimas atskleidžia, kad dabartiniai verifikavimo algoritmai dažnai nepasiekia šios ribos, o atranka be grąžinimo (sampling without replacement) gerokai padidina priėmimo rodiklius, palyginti su atranka su grąžinimu.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

Efektyvus internetinis mokymasis stiprinant mobiliųjų įrenginių agentų navigaciją

„Apple“ tyrėjai pristatė naują mobiliųjų UI agentų mokymo infrastruktūrą, kuri atskiria navigacijos logiką nuo vizualinio atpažinimo. Naudojant žingsninį atlygį iš LLM vertintojo ir naują GiGPPO vertinimo metodą, šie agentai pasižymi didesniu patikimumu nei modeliai, apmokyti tik stacionariais duomenimis.

Apple Machine Learning
Tyrimai· Svarbu· 🧪 Verta testuoti

Nereikalingų „attention“ galvų šalinimas sumažina LLM atkartojamumą

Naujausi tyrimai rodo, kad daugelis didžiųjų kalbos modelių (LLM) „attention“ galvų yra perteklinės ir tiesiogiai prisideda prie pažodinio mokymo duomenų atkartojimo. Selektyviai išjungus šias galvas inferencijos metu, tyrėjai pasiekė 91,5 % atkartojimo sumažėjimą ir tuo pačiu pagerino modelio našumą standartiniuose testuose.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

Artifact Distillation: mažų modelių našumo didinimas be pakartotinio mokymo

Pristatytas „Artifact Distillation“ metodas, leidžiantis galingiems modeliams eksportuoti savo sprendimų priėmimo procesus į išorinę duomenų saugyklą. Mažesni modeliai, naudodamiesi šia informacija vykdymo metu, pasiekia geresnių rezultatų be būtinybės atlikti brangų modelio tobulinimą (fine-tuning).

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

„TraceQuery“ optimizuoja difuzinių kalbos modelių išvestį

Tyrėjai sukūrė „TraceQuery“ – retų (sparse) dekodavimo karkasą, mažinantį difuzinių didžiųjų kalbos modelių (dLLM) skaičiavimo kaštus. Analizuojant triukšmo šalinimo trajektorijas, metodas selektyviai perskaičiuoja tik būtinas žetonų (token) reprezentacijas, užuot atlikęs perteklines operacijas, taip išlaikant aukštą tikslumą su mažesniais skaičiavimo resursais.

arXiv cs.CL

„Apple“ pristatė GHARP realaus laiko 3D galvos animacijai

„Apple“ pristatė GHARP – naują 3D žmonių galvų animacijos metodą, pagrįstą dviejų pakopų „Gaussian Splatting“ architektūra. Atskyrus statinį tapatybės atkūrimą nuo lengvo, mobiliesiems įrenginiams optimizuoto mimikos prognozavimo, modelis pasiekia aukščiausius rezultatus „Ava-256“ standarte išlaikydamas efektyvumą.

Apple Machine Learning

NVIDIA ir Vašingtono universitetas pristato RFD4-Proteina spartesniam baltymų kūrimui su DI

NVIDIA BioNeMo komanda kartu su Vašingtono universiteto Baltymų dizaino institutu pristatė RFD4-Proteina – modelį, kuris vienu metu sugeneruoja tiek baltymo seką, tiek pilną atominę struktūrą, atsisakant atskiro atvirkštinio klostymo (inverse-folding) žingsnio. Dirbdamas su liekanos lygio (residue-level) reprezentacija ir supaprastintu difuzijos procesu, modelis atlieka tik apie 60 žingsnių vietoj maždaug 400, todėl generavimas tampa gerokai greitesnis, o atminties sąnaudos – mažesnės nei ankstesnio modelio RFD3, generuojant 200 liekanų baltymą. Generavimo metu modelis taip pat gali vykdyti apdovanojimu grįstą (reward-guided) paiešką, kuri vertina ir atrenka geriausius dalinius sprendimus naudodama GPU pagreitintus įrankius, tokius kaip OpenFold3 ir TMol. Modelis pateikiamas tiek kaip atvirojo kodo versija GitHub, tiek kaip NIM mikroservisas su HTTP sąsaja, o specialūs įrankiai leidžia automatizuotiems agentams susieti generavimo, paieškos ir vertinimo etapus.

NVIDIA Developer
Tyrimai· Svarbu· 🧪 Verta testuoti

IBM papildinys leidžia vLLM stebėti ir valdyti LLM realiuoju laiku beveik be sulėtėjimo

IBM Research pristatė vLLM-Hook MIA – papildinį atviro kodo vLLM išvedimo varikliui, leidžiantį kūrėjams stebėti ir keisti modelio vidinę būseną vykdymo metu – pavyzdžiui, atmesti kenkėjiškus užklausimus, pažymėti haliucinuotus faktus ar koreguoti atsakymo toną – neišjungiant spartaus vLLM grafikų kartojimo režimo. Pagal IBM techninę ataskaitą, MIA yra iki 20 kartų greitesnis nei ankstesnė vLLM-Hook versija ir iki 14 kartų greitesnis nei metodai, įterpiantys kodą tiesiai į modelį. Testuose valdant 8B Llama ar 1,5B Qwen modelį delsa padidėjo vos apie 2%, o su 70B Llama modeliu – apie 6%.

IBM Research

NVIDIA pristatė Cosmos3-H-Dreams – realaus laiko generatyvinį chirurgijos simuliatorių

NVIDIA išleido Cosmos3-H-Dreams – pasaulio modelį (world foundation model), generuojantį interaktyvias, realaus laiko chirurgines scenas pagal roboto kinematiką iš tikrų klinikinių cholecistektomijos procedūrų, įrašytų naudojant CMR Surgical Versius platformą. Modelis sukurtas ant 16 milijardų parametrų Cosmos3-H-Embodied-Nano pagrindo ir pagreitintas naudojant NVIDIA FlashDreams srautinio išvedimo biblioteką, veikia viename RTX PRO 6000 GPU. Sistema mokosi vizualinės chirurginės dinamikos tiesiai iš vaizdo ir kinematikos duomenų, o ne iš tiesioginio fizikos modeliavimo, ir siūlo keturių bei dviejų žingsnių distiliuotus kontrolinius taškus, leidžiančius rinktis tarp kokybės ir greičio.

Hugging Face
Tyrimai· Svarbu

„Google“ baigė kurti atvirą „Coral NPU“ edge-AI architektūrą ir kompiliatorių, pasirodė pirmi komerciniai lustai

„Google Research“ paskelbė apie paskutinį „Coral NPU“ atviro aparatinės įrangos standarto etapą – 32 bitų RISC-V architektūrą su nauju Matricų vykdymo bloku (iki 1 TOPS, apie 10mW), bei v1.0 atvirojo kodo IREE/MLIR kompiliatorių, kuris modelius iš JAX, PyTorch ir TensorFlow tiesiogiai perkelia į aparatinę įrangą. „Synaptics“ pristato pirmus komercinius lustus, sukurtus pagal šį standartą, įskaitant „Astra SR200“ mikrovaldiklių seriją (400 GOPS) ir naujus „Coralboard SR“ bei „SL“ kūrėjų rinkinius, o „SL“ versija jau visuotinai prieinama per „DigiKey“. „Google“ taip pat bendradarbiauja su „VeriSilicon“ ir „GlobalFoundries“, siekdama pritaikyti atvirą RTL gamybiniams lustams.

Google Developers
Tyrimai· Svarbu· 🧪 Verta testuoti

AWS pristato „push“ tipo KV perdavimą, mažinantį delsą atskirtame vLLM infrastruktūros apdorojime

AWS išleido „push“ tipo NIXL konektorių vLLM sistemai, keičiantį, kaip raktas-reikšmė (KV) talpyklos duomenys perduodami tarp prefill ir decode egzempliorių atskirtame LLM aptarnavime. Vietoj to, kad decode egzempliorius trauktų KV blokus po prefill pabaigos, decode egzempliorius iš anksto užregistruoja paskirties atmintį, o prefill egzempliorius tiesiogiai įrašo KV duomenis, kai tik jie parengti – taip koordinavimo darbas pašalinamas iš kritinio kelio. Testuojant su Qwen3-32B modeliu 1 prefill/1 decode konfigūracijoje EC2 P5en egzemplioriuose su EFA, push režimas pasiekė iki 3 kartų geresnį laiką iki pirmo tokeno (TTFT) ir iki 30% geresnį vieno tokeno generavimo laiką (TPOT) nei numatytasis pull režimas, ypač esant didelei užklausų apkrovai.

AWS Machine Learning

„Apple“ parodė, kaip trilijono parametrų klasės LLM veikia lokaliai per Mac Studio klasterius su MLX

„Apple“ MLX komanda paskelbė našumo testus, rodančius, kad dideli atvirojo svorio modeliai – įskaitant beveik trilijono parametrų MoE modelį „Muse Spark Open“ – veikia Mac Studio aparatinėje įrangoje, tiek vienu įrenginiu, tiek paskirstytai iki keturių Mac Studio per naują RDMA-over-Thunderbolt tvarkyklę. Naujas M5 Ultra lustas su dedikuotais GPU „Neural Accelerators“ ir 1,2 TB/s atminties pralaidumu pasiekia iki 4,6 karto greitesnį pirmojo tokeno laiką ir 1,6 karto greitesnį generavimo greitį lyginant su ankstesniu M3 Ultra. Modeliams, netelpantiems viename įrenginyje, MLX dabar palaiko pipeline ir tensor paralelizaciją keliuose „Mac“ per Thunderbolt RDMA, leidžiant keturių Mac Studio klasteriui generuoti daugiau nei 36 tokenus per sekundę 816 mlrd. parametrų modeliui.

Apple Machine Learning
Tyrimai· 🧪 Verta testuoti

AWS atveria MoE branduolio optimizacijas vLLM sistemai – mažesnė delsa ir didesnis pralaidumas H200 GPU

AWS pristatė tris branduolio (kernel) lygio optimizacijas Mixture-of-Experts (MoE) modelių aptarnavimui Hopper GPU, sukurtas bendradarbiaujant su vLLM bendruomene ir įdiegtas Amazon SageMaker AI LMI konteineryje. Pakeitimai sprendžia fused MoE skaičiavimų neefektyvumą dekodavimo fazėje su mažomis partijomis, kai anksčiau Tensor Core branduoliai būdavo nepilnai išnaudojami. Kartu optimizacijos suteikia iki 10% didesnį pralaidumą ir iki 9% greitesnį laiką iki pirmo tokeno (TTFT).

AWS Machine Learning
Tyrimai· Svarbu

IBM parodė, kad atvirų modelių AI agentai gali sumažinti lustų projektavimo paieškos kaštus daugiau nei 11 kartų

IBM Research naudojo koordinuotą kelių agentų „agentų gamyklą“, kad ištirtų aparatinės įrangos optimizavimo galimybes kvantinio klaidų taisymo dekoderiui, lygindama patentuotus ir atvirus pirmaujančius modelius pagal tą patį 100 hipotezių paieškos biudžetą. Atviro modelio konfigūracija, veikianti vietoje per IBM „llm-d“ paskirstyto išvedimo sistemą, pasiekė 52 kartų pagreitį lyginant su baziniu projektu, o tai kainavo apie 26 JAV dolerius išvedimo išlaidų, palyginti su 299 doleriais patentuoto modelio konfigūracijai, kuri pasiekė didesnį, 204 kartų, pagreitį. Tyrimas parodo, kad talpyklos pažinimu paremtas maršrutizavimas ir efektyvus aptarnavimas (98 % priešdėlio talpyklos pataikymų rodiklis, ~0,11 USD už milijoną žetonų) padarė atvirų modelių metodą gerokai pigesnį, vis tiek rasdamas tinkamus, kompaktiškus aparatinės įrangos sprendimus.

IBM Research

Apple tyrėjai siūlo paversti neveikiančias Mac GPU bendru išvados klasteriu

Naujame Apple mokslinio tyrimo straipsnyje pristatomas Minions – sistema, kuri sujungia nenaudojamą GPU galią skirtinguose Apple Silicon Mac kompiuteriuose į vieną paskirstytą debesį mašininio mokymosi išvadoms vykdyti. Vietoj papildomos GPU įrangos pirkimo komandos galėtų panaudoti laisvą skaičiavimo galią jau turimuose macOS įrenginiuose. Autoriai teigia, kad sistema užtikrina užduočių paskirstymą, atsparumą gedimams ir efektyvų resursų naudojimą, siūlydama alternatyvą, kai dedikuotų GPU resursų trūksta arba jie brangūs.

Apple Machine Learning
Tyrimai· Svarbu· 🧪 Verta testuoti

„Amazon“ „Priming“ metodas paverčia iš anksto apmokytus Transformer modelius efektyviais hibridais už mažiau nei 1% mokymo kainos

„Amazon Web Services“ tyrėjai paskelbė metodą „priming“, kuris paverčia iš anksto apmokytus Transformer modelius hibridinėmis architektūromis, derinančiomis dėmesio (attention) ir būsenos erdvės modelio (SSM) sluoksnius, panaudojant jau turimus svorius vietoj mokymo nuo nulio. Metodas sumažina mokymo sąnaudas daugiau nei 99% ir leidžia 32 milijardų parametrų hibridiniam modeliui pasiekti tokią pačią kokybę kaip originalus Transformer modelis, dekoduojant iki dvigubai greičiau. „Amazon“ išbandė tris SSM tipus ir atvirai paskelbė modelių rinkinį, mokymo kodą bei įrankius pagal Apache 2.0 licenciją.

Amazon Science

NVIDIA ir Prinstonas pašalino sprendimo kliūtis hibridiniuose SSM modeliuose

NVIDIA kartu su Prinstono universiteto Dao AI Lab sukūrė ReplaySSM — naują būdą saugoti būseną hibridiniuose modeliuose, kurie jungia būsenos erdvės (SSM) sluoksnius su dėmesio (attention) sluoksniais. Užuot perrašius visą būseną kiekviename žingsnyje, metodas laiko periodinį kontrolinį tašką (checkpoint) ir trumpą neseniai gautų įvesčių sąrašą, atskirdamas rezultato skaičiavimą nuo atminties atnaujinimo. Tai sumažina atminties srautą maždaug per pusę, pagreitina dekodavimo branduolius iki 1,80 karto didelėse apkrovose, o spekuliatyvaus dekodavimo pralaidumas daugiau nei padvigubėja 120B dydžio modeliuose, išlaikant tikslumą arti pilno tikslumo lygio. Metodas jau integruotas į TensorRT-LLM, vLLM ir FlashInfer bei veikia produkcijoje su GLM-5.3-Flash ir Kimi-K3.

NVIDIA Developer

NVIDIA atveria „Vera Rubin“ lentynų architektūrą ir skatina atvirus standartus AI duomenų centrams

„OCP Global Summit“ renginyje NVIDIA perdavė savo „Vera Rubin“ lentynų ir skaičiavimo dėklų projektus atvirai MGX architektūrai bei paskelbė eilę partnerysčių, susijusių su AI gamyklų maitinimu, aušinimu ir tinklų standartais. Tarp partnerių – tokie hiperskalės žaidėjai kaip Meta, Google, Microsoft ir AMD, taip pat Cisco bei Visionbay. Pranešimai apima lentynų specifikacijas (MGX 1.2), naują atvirojo kodo programinę įrangą AI duomenų centrams valdyti (DSX OS komponentai), tinklo atsparumo standartus, 800V nuolatinės srovės maitinimo architektūrą, naują „Ethernet“ komutaciją (Spectrum-6) ir naują optinio siųstuvo-imtuvo standartą (USFP) kartu su Cisco.

NVIDIA

Google parodo, kaip TPU pagreitinti vaizdo difuzijos dėmesio skaičiavimus 2,4 karto

Google inžinieriai aprašo, kaip jie įgyvendino retą (sparse) erdvinio-laikinio dėmesio (attention) skaičiavimą vaizdo difuzijos modeliams TPU v6e lustuose, paversdami teorinį Sparse VideoGen (SVG) metodo retumą realiu aparatinės įrangos pagreičiu. Per kelis branduolio optimizavimo etapus (plytelių specializaciją, dydžio derinimą ir kaukės suderinimą su plytelėmis) jie sumažino dėmesio skaičiavimo laiką nuo 96,37 ms (naivus retas variantas) iki 32,76 ms – tai 2,40 karto greičiau nei tankus Splash Attention viename TPU v6e luste, naudojant 75,6 tūkst. token, 10 galvų ir 128 galvos dimensiją.

Google Developers