Pereiti prie turinio
2026 m. lapkričio 19 d., ketvirtadienis
Tenesys AI News
Prenumerata

Visos naujienos

TENESYS AI NEWS seka svarbiausias AI naujienas ir paaiškina, kas pasikeitė, kodėl tai svarbu ir ar technologiją verta išbandyti.

“LLM” — 75 straipsniai ✕

Tyrimai· Svarbu

IBM parodė, kad atvirų modelių AI agentai gali sumažinti lustų projektavimo paieškos kaštus daugiau nei 11 kartų

IBM Research naudojo koordinuotą kelių agentų „agentų gamyklą“, kad ištirtų aparatinės įrangos optimizavimo galimybes kvantinio klaidų taisymo dekoderiui, lygindama patentuotus ir atvirus pirmaujančius modelius pagal tą patį 100 hipotezių paieškos biudžetą. Atviro modelio konfigūracija, veikianti vietoje per IBM „llm-d“ paskirstyto išvedimo sistemą, pasiekė 52 kartų pagreitį lyginant su baziniu projektu, o tai kainavo apie 26 JAV dolerius išvedimo išlaidų, palyginti su 299 doleriais patentuoto modelio konfigūracijai, kuri pasiekė didesnį, 204 kartų, pagreitį. Tyrimas parodo, kad talpyklos pažinimu paremtas maršrutizavimas ir efektyvus aptarnavimas (98 % priešdėlio talpyklos pataikymų rodiklis, ~0,11 USD už milijoną žetonų) padarė atvirų modelių metodą gerokai pigesnį, vis tiek rasdamas tinkamus, kompaktiškus aparatinės įrangos sprendimus.

IBM Research
Tyrimai· Svarbu· 🧪 Verta testuoti

„Amazon“ „Priming“ metodas paverčia iš anksto apmokytus Transformer modelius efektyviais hibridais už mažiau nei 1% mokymo kainos

„Amazon Web Services“ tyrėjai paskelbė metodą „priming“, kuris paverčia iš anksto apmokytus Transformer modelius hibridinėmis architektūromis, derinančiomis dėmesio (attention) ir būsenos erdvės modelio (SSM) sluoksnius, panaudojant jau turimus svorius vietoj mokymo nuo nulio. Metodas sumažina mokymo sąnaudas daugiau nei 99% ir leidžia 32 milijardų parametrų hibridiniam modeliui pasiekti tokią pačią kokybę kaip originalus Transformer modelis, dekoduojant iki dvigubai greičiau. „Amazon“ išbandė tris SSM tipus ir atvirai paskelbė modelių rinkinį, mokymo kodą bei įrankius pagal Apache 2.0 licenciją.

Amazon Science

NVIDIA ir Prinstonas pašalino sprendimo kliūtis hibridiniuose SSM modeliuose

NVIDIA kartu su Prinstono universiteto Dao AI Lab sukūrė ReplaySSM — naują būdą saugoti būseną hibridiniuose modeliuose, kurie jungia būsenos erdvės (SSM) sluoksnius su dėmesio (attention) sluoksniais. Užuot perrašius visą būseną kiekviename žingsnyje, metodas laiko periodinį kontrolinį tašką (checkpoint) ir trumpą neseniai gautų įvesčių sąrašą, atskirdamas rezultato skaičiavimą nuo atminties atnaujinimo. Tai sumažina atminties srautą maždaug per pusę, pagreitina dekodavimo branduolius iki 1,80 karto didelėse apkrovose, o spekuliatyvaus dekodavimo pralaidumas daugiau nei padvigubėja 120B dydžio modeliuose, išlaikant tikslumą arti pilno tikslumo lygio. Metodas jau integruotas į TensorRT-LLM, vLLM ir FlashInfer bei veikia produkcijoje su GLM-5.3-Flash ir Kimi-K3.

NVIDIA Developer