Pereiti prie turinio
2026 m. lapkričio 19 d., ketvirtadienis
Tenesys AI News
Prenumerata

AI tyrimai

Moksliniai darbai, benchmarkai, architektūros, reasoning ir mokymo metodai.

“LLM” — 34 straipsniai ✕

Tyrimai· Svarbu

„Google Research“ kuria AI agentus, kurie patys atlieka laboratorinius eksperimentus

„Google Research“ pristatė tyrimus, kaip AI agentus „įžeminti“ fizinėje laboratorinėje aplinkoje naudojant skaitmeninio dvynio sistemą VERID, leidžiančią agentams saugiai planuoti ir vykdyti skysčių dozavimo robotų protokolus. Kartu su uždaro ciklo molekuliniu dizainu aptamerams ir baltymams, agentai mokėsi iš laboratorinių rezultatų, kelis ciklus gerindami sėkmės rodiklius ir galiausiai aptikdami vienaženklio nanomolinio afiniteto baltymų surišiklius vėžio taikiniui.

Google Research

NVIDIA ir AI4Bharat išleidžia 2,8 trilijono žetonų Indijos kalbų išankstinio apmokymo duomenų rinkinį ir atvirą duomenų generavimo konvejerį

NVIDIA kartu su IIT Madras AI4Bharat laboratorija išleidžia Nemotron-pretraining-Indic-v1 – apie 2,8 trilijono žetonų sintetinį išankstinio apmokymo duomenų rinkinį, apimantį 22 Indijos kalbas, kartu su atviru GPU pagreitintu konvejeriu, naudotu jam sukurti. Duomenų rinkinyje yra originalios rašybos duomenys visoms 22 kalboms ir romanizuoti tekstai dvylikai kalbų, sukurti verčiant atrinktą anglišką turinį (žiniatinklio tekstus, matematiką, kodą, klausimus-atsakymus) naudojant NeMo Data Designer ir tikrinant pagal MQM principu pagrįstą vertinimo sistemą. NVIDIA jau panaudojo 10 mlrd. žetonų Indijos kalbų poaibį tolesniam Nemotron 3.5 Super VL apmokymui, kuris parodė pastebimą pagerėjimą Indijos kalbų testuose.

Hugging Face

„Apple“ parodė, kaip trilijono parametrų klasės LLM veikia lokaliai per Mac Studio klasterius su MLX

„Apple“ MLX komanda paskelbė našumo testus, rodančius, kad dideli atvirojo svorio modeliai – įskaitant beveik trilijono parametrų MoE modelį „Muse Spark Open“ – veikia Mac Studio aparatinėje įrangoje, tiek vienu įrenginiu, tiek paskirstytai iki keturių Mac Studio per naują RDMA-over-Thunderbolt tvarkyklę. Naujas M5 Ultra lustas su dedikuotais GPU „Neural Accelerators“ ir 1,2 TB/s atminties pralaidumu pasiekia iki 4,6 karto greitesnį pirmojo tokeno laiką ir 1,6 karto greitesnį generavimo greitį lyginant su ankstesniu M3 Ultra. Modeliams, netelpantiems viename įrenginyje, MLX dabar palaiko pipeline ir tensor paralelizaciją keliuose „Mac“ per Thunderbolt RDMA, leidžiant keturių Mac Studio klasteriui generuoti daugiau nei 36 tokenus per sekundę 816 mlrd. parametrų modeliui.

Apple Machine Learning
Tyrimai· 🧪 Verta testuoti

AWS atveria MoE branduolio optimizacijas vLLM sistemai – mažesnė delsa ir didesnis pralaidumas H200 GPU

AWS pristatė tris branduolio (kernel) lygio optimizacijas Mixture-of-Experts (MoE) modelių aptarnavimui Hopper GPU, sukurtas bendradarbiaujant su vLLM bendruomene ir įdiegtas Amazon SageMaker AI LMI konteineryje. Pakeitimai sprendžia fused MoE skaičiavimų neefektyvumą dekodavimo fazėje su mažomis partijomis, kai anksčiau Tensor Core branduoliai būdavo nepilnai išnaudojami. Kartu optimizacijos suteikia iki 10% didesnį pralaidumą ir iki 9% greitesnį laiką iki pirmo tokeno (TTFT).

AWS Machine Learning
Tyrimai· Svarbu

IBM parodė, kad atvirų modelių AI agentai gali sumažinti lustų projektavimo paieškos kaštus daugiau nei 11 kartų

IBM Research naudojo koordinuotą kelių agentų „agentų gamyklą“, kad ištirtų aparatinės įrangos optimizavimo galimybes kvantinio klaidų taisymo dekoderiui, lygindama patentuotus ir atvirus pirmaujančius modelius pagal tą patį 100 hipotezių paieškos biudžetą. Atviro modelio konfigūracija, veikianti vietoje per IBM „llm-d“ paskirstyto išvedimo sistemą, pasiekė 52 kartų pagreitį lyginant su baziniu projektu, o tai kainavo apie 26 JAV dolerius išvedimo išlaidų, palyginti su 299 doleriais patentuoto modelio konfigūracijai, kuri pasiekė didesnį, 204 kartų, pagreitį. Tyrimas parodo, kad talpyklos pažinimu paremtas maršrutizavimas ir efektyvus aptarnavimas (98 % priešdėlio talpyklos pataikymų rodiklis, ~0,11 USD už milijoną žetonų) padarė atvirų modelių metodą gerokai pigesnį, vis tiek rasdamas tinkamus, kompaktiškus aparatinės įrangos sprendimus.

IBM Research
Tyrimai· Svarbu· 🧪 Verta testuoti

„Amazon“ „Priming“ metodas paverčia iš anksto apmokytus Transformer modelius efektyviais hibridais už mažiau nei 1% mokymo kainos

„Amazon Web Services“ tyrėjai paskelbė metodą „priming“, kuris paverčia iš anksto apmokytus Transformer modelius hibridinėmis architektūromis, derinančiomis dėmesio (attention) ir būsenos erdvės modelio (SSM) sluoksnius, panaudojant jau turimus svorius vietoj mokymo nuo nulio. Metodas sumažina mokymo sąnaudas daugiau nei 99% ir leidžia 32 milijardų parametrų hibridiniam modeliui pasiekti tokią pačią kokybę kaip originalus Transformer modelis, dekoduojant iki dvigubai greičiau. „Amazon“ išbandė tris SSM tipus ir atvirai paskelbė modelių rinkinį, mokymo kodą bei įrankius pagal Apache 2.0 licenciją.

Amazon Science

NVIDIA ir Prinstonas pašalino sprendimo kliūtis hibridiniuose SSM modeliuose

NVIDIA kartu su Prinstono universiteto Dao AI Lab sukūrė ReplaySSM — naują būdą saugoti būseną hibridiniuose modeliuose, kurie jungia būsenos erdvės (SSM) sluoksnius su dėmesio (attention) sluoksniais. Užuot perrašius visą būseną kiekviename žingsnyje, metodas laiko periodinį kontrolinį tašką (checkpoint) ir trumpą neseniai gautų įvesčių sąrašą, atskirdamas rezultato skaičiavimą nuo atminties atnaujinimo. Tai sumažina atminties srautą maždaug per pusę, pagreitina dekodavimo branduolius iki 1,80 karto didelėse apkrovose, o spekuliatyvaus dekodavimo pralaidumas daugiau nei padvigubėja 120B dydžio modeliuose, išlaikant tikslumą arti pilno tikslumo lygio. Metodas jau integruotas į TensorRT-LLM, vLLM ir FlashInfer bei veikia produkcijoje su GLM-5.3-Flash ir Kimi-K3.

NVIDIA Developer

„Apple“ tyrėjai pristatė rubrikomis pagrįstą metodą agentams mokyti keliose aplinkose

„Apple“ tyrėjai kartu su Singapūro nacionaliniu universitetu paskelbė straipsnį apie RISED – naują LLM agentų mokymo sistemą, skirtą tuo pačiu metu mokytis keliose skirtingose interaktyviose aplinkose. Vietoj to, kad remtųsi tik skaitiniais atlygio signalais, RISED naudoja LLM teisėją, kuris kiekvieną mokymo bandymą pažymi rubrikomis, apibūdinančiomis elgseną, o tada šias žymas naudoja treniruočių duomenims atrinkti ir papildomai priežiūrai suteikti. Autoriai teigia, kad RISED pasiekia aukščiausią vidutinį sėkmės rodiklį tarp aplinkų, palyginti su esamais metodais, ir kiekvienoje testuotoje aplinkoje užima pirmą arba antrą vietą.

Apple Machine Learning
Tyrimai· Svarbu· 🧪 Verta testuoti

GitHub atveria ReviewBench — bendrą standartą AI kodo peržiūros agentų vertinimui

GitHub paskelbė ReviewBench — tyrimų peržiūros stadijos (research preview) etaloną, skirtą palyginti AI kodo peržiūros agentus pagal bendrą, patikrinamą standartą. Duomenų rinkinį sudaro 219 realių viešų pull request'ų iš 19 kalbų ir 187 saugyklų, parinktų taip, kad atspindėtų kalbų ir dydžio pasiskirstymą tarp 103,9 mln. realių GitHub PR. Pagrindinė tiesa (ground truth) sudaryta iš žmonių recenzentų, statinės analizės įrankių ir kelių pažangiausių (frontier) LLM, o jų vertinimus patikrino vyresnieji inžinieriai, kurių sprendimai sutapo su etalono žymėjimais 96,6% atvejų. GitHub teigia jau naudojęs ReviewBench vidiniam Copilot code review (CCR) produkto sekimui, ir kad offline etalono pokyčiai patikimai prognozavo vėlesnių gamybinių A/B testų kryptį.

GitHub

„Google“ TPU komanda MaxText pakartojo Ai2 „Olmo 3 7B“ treniravimo procesą

„Google Cloud“ TPU inžinerių komanda kartu su Ai2 nuo nulio atkūrė „Olmo 3 7B“ modelio pre-treniravimą naudodama MaxText — „Google“ JAX/XLA treniravimo karkasą, veikiantį TPU įrenginiuose vietoje originalaus Ai2 PyTorch/GPU sprendimo. Jie pasiekė sutapimą su Ai2 paskelbtais rezultatais ne tik treniravimo nuostolio kreivėje, bet ir keturiose nepriklausomose atskirtų (held-out) vertinimo plotmėse per visą ~5,93 trilijono žetonų, 1,41 mln. žingsnių 1 etapo treniravimą bei 2 etapo „annealing“ fazę. Šio darbo metu jie perkėlė į MaxText neįprastą „Olmo 3“ architektūrą (pertvarkytą normalizavimo bloką, QK-norm, 3:1 slankaus/globalaus dėmesio santykį) ir aptiko duomenų kraunimo klaidą, kuri tyliai „pagražino“ rezultatus dėl įsiminimo, o ne tikro mokymosi.

Google Developers