Pereiti prie turinio
2026 m. lapkričio 19 d., ketvirtadienis
Tenesys AI News
Prenumerata

AI tyrimai

Moksliniai darbai, benchmarkai, architektūros, reasoning ir mokymo metodai.

“API” — 20 straipsnių ✕

Tyrimai· Svarbu· 🧪 Verta testuoti

Patobulintas MDLM modelių treniravimo metodas

Tyrėjai pristatė „visų blokų vertintoją“ (full-block estimator), skirtą optimizuoti „Masked Diffusion Language Models“ (MDLM) derinimą. Vertinant kiekvieną bloką tiksliai po vieną kartą, šis metodas pašalina dispersiją, kylančią dėl atsitiktinės blokų atrankos.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

Naujas „Self-Disagreement“ mokymo metodas stiprina modelių gebėjimą argumentuoti

Tyrėjai pristatė naują mokymo metodą, vadinamą „Self-Disagreement“ (savarankišku nesutarimu), kuris pagerina modelio gebėjimą vertinti savo paties argumentus. Vietoj priklausomybės nuo žmogaus grįžtamojo ryšio ar išorinių apdovanojimų modelių, agentas pats sukuria priešingus argumentus ir mokosi vertindamas jų pagrįstumą.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

Nauja vartotojų personų imitavimo sistema

Paskelbtas naujas mokslinis karkasas leidžia imituoti tikslines vartotojų grupes ir atlikti kontroliuojamus „kas būtų, jeigu“ eksperimentus. Naudodamos personais paremtus agentus, įmonės gali greitai testuoti pokalbių robotus, žiniatinklio programas ir kitas paslaugas, gaudamos duomenų, kurie padeda priimti strateginius produkto kūrimo sprendimus.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

Naujas duomenų atžvilgiu efektyvus metodas įgalina full-duplex balso agentus naudojant nekintančius LLM

Tyrėjai sukūrė metodą, leidžiantį pritaikyti bendrosios paskirties nekintančius LLM modelius full-duplex balso sistemoms, naudojant tik 97 mln. mokomų parametrų ir 30 GPU valandų treniravimo. Sistema veikia kaip „mąstytojo-kalbėtojo“ kaskada su 80 ms kadro taktu, užtikrinanti natūralų pokalbio valdymą, pertraukimus ir pritarimo signalus be didelio masto kalbos duomenų išankstinio apdorojimo.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

Naujas metodas tyliam įrodymų praradimui suspaustuose AI kontekstuose aptikti

Tyrėjai pristatė SELD – be mokymo veikiantį metodą, skirtą „tyliam įrodymų praradimui“ (angl. silent evidence loss) ilgo konteksto glaudinimo metu aptikti. Tai įvyksta, kai pašalinama pagrindinė informacija, todėl atsakymas lieka techniškai teisingas, tačiau nepagrįstas įrodymais, o tai kelia riziką sistemoms, pakartotinai naudojančioms kontekstą.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

MCQ testų formatai dirbtinai slepia LLM saugumo spragas

Tyrimas atskleidžia, kad klausimų su pasirenkamais atsakymais (MCQ) formatas slopina LLM atsisakymo elgseną. Eksperimentai su Llama-3.1-8B ir Qwen3-8B rodo, kad priverstinis konkrečios raidės pasirinkimas modelio aktyvacijas atitraukia 3x toliau nuo atsisakymo krypties, todėl MCQ pagrįsti saugumo vertinimai gali rodyti klaidingai saugius rezultatus.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

AI agentų blaškymosi mažinimas didelėse kodo bazėse

AI agentai dažnai klaidingai supranta senus kodo komentarus, tokius kaip TODO ar FIXME, laikydami juos dabartinėmis instrukcijomis. Tyrimai rodo, kad 6 % programavimo sesijų agentai imasi tirti nereikšmingus, uždarytus ar pasenusius klaidas, o tai didina išlaidas ir apimties didėjimą (scope creep).

Google Developers
Tyrimai· Svarbu· 🧪 Verta testuoti

Naujas BACE metodas sumažina skubotus dirbtinio intelekto atsakymus dviprasmiškuose dialoguose

Tyrėjai nustatė, kad LLM modeliai yra linkę pateikti skubotus, dažnai neteisingus atsakymus dviprasmiškose situacijose, užuot uždavę patikslinamuosius klausimus. Jie pristatė BACE (Belief-Aware Critic with Epistemic tracking) – lengvą metodą, veikiantį su užrakintu kalbos modeliu, padedantį strategiškai nuspręsti, kada prašyti paaiškinimo.

arXiv cs.CL
Tyrimai· 🧪 Verta testuoti

Naujas etalonas atskleidžia: paieškos tikslumas neatitinka ilgo konteksto atminties

Pristatytas „Simple Retrieval-Reconstruction Memory“ (SRRM) etalonas, skirtas geriau įvertinti mažųjų kalbos modelių (SLM) ilgo konteksto našumą. Tyrimai rodo, kad didėjant konteksto ilgiui, modelio gebėjimas atkurti informaciją prastėja daug sparčiau nei gebėjimas rasti konkrečius faktus, todėl standartiniai paieškos testai nėra pakankami tikrajai atminčiai matuoti.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

„FlagRot“ technika pagerina mažų bitų KV talpyklos tikslumą

Naujas metodas, vadinamas „FlagRot“, optimizuoja raktų-reikšmių (KV) talpyklos kvantavimą ilgo konteksto modeliams. Selektyviai pasukant raktų segmentus pagal dėmesio (attention) klaidą, o ne taikant bendrąją rotaciją, sumažinami tikslumo nuostoliai naudojant 2 bitų arba 4 bitų talpyklas.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

Kalbos skirtumai daro įtaką LLM derybų rezultatams

Tyrimas atskleidė, kad tos pačios asmenybės instrukcijos sukelia skirtingus LLM elgsenos rezultatus keičiant anglų kalbą į korėjiečių. Nors pirkėjai nurodymų laikėsi panašiai, pardavėjai korėjiečių kalba tapo gerokai paslaugesni ir mandagesni, todėl dažniau pasiekiama susitarimų ir mažesnės kainos.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

Artifact Distillation: mažų modelių našumo didinimas be pakartotinio mokymo

Pristatytas „Artifact Distillation“ metodas, leidžiantis galingiems modeliams eksportuoti savo sprendimų priėmimo procesus į išorinę duomenų saugyklą. Mažesni modeliai, naudodamiesi šia informacija vykdymo metu, pasiekia geresnių rezultatų be būtinybės atlikti brangų modelio tobulinimą (fine-tuning).

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

Naujas būdas aptikti LLM haliucinacijas naudojant „subspace learning“

Tyrėjai pristatė LOTUS – sistemą haliucinacijoms aptikti, kuri naudoja multilinijinę mažo rango dekompoziciją (low-rank decomposition) signalams iš paslėptų LLM sluoksnių išgauti. Analizuojant aktyvacijų pikus ir tarp-sluoksninius modelius, šis metodas tiksliau atpažįsta neteisingus atsakymus nei dabartinės telkimo (pooling) technikos.

arXiv cs.CL
Tyrimai· 🧪 Verta testuoti

„Whisper“ ASR modelio derinimo optimizavimas sumaniai pasirenkant duomenis

Tyrėjai pasiūlė „k-center“ algoritmo metodą, pagrįstą įterpinių (embeddings) naudojimu, skirtą mažesniems, bet reprezentatyvesniems treniravimo duomenų rinkiniams parinkti. Šis metodas veikia geriau nei atsitiktinė atranka, nes užtikrina didesnę kalbinę įvairovę, ypač kai ribojami treniravimo ištekliai.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

IBM papildinys leidžia vLLM stebėti ir valdyti LLM realiuoju laiku beveik be sulėtėjimo

IBM Research pristatė vLLM-Hook MIA – papildinį atviro kodo vLLM išvedimo varikliui, leidžiantį kūrėjams stebėti ir keisti modelio vidinę būseną vykdymo metu – pavyzdžiui, atmesti kenkėjiškus užklausimus, pažymėti haliucinuotus faktus ar koreguoti atsakymo toną – neišjungiant spartaus vLLM grafikų kartojimo režimo. Pagal IBM techninę ataskaitą, MIA yra iki 20 kartų greitesnis nei ankstesnė vLLM-Hook versija ir iki 14 kartų greitesnis nei metodai, įterpiantys kodą tiesiai į modelį. Testuose valdant 8B Llama ar 1,5B Qwen modelį delsa padidėjo vos apie 2%, o su 70B Llama modeliu – apie 6%.

IBM Research
Tyrimai· Svarbu· 🧪 Verta testuoti

AWS pristato „push“ tipo KV perdavimą, mažinantį delsą atskirtame vLLM infrastruktūros apdorojime

AWS išleido „push“ tipo NIXL konektorių vLLM sistemai, keičiantį, kaip raktas-reikšmė (KV) talpyklos duomenys perduodami tarp prefill ir decode egzempliorių atskirtame LLM aptarnavime. Vietoj to, kad decode egzempliorius trauktų KV blokus po prefill pabaigos, decode egzempliorius iš anksto užregistruoja paskirties atmintį, o prefill egzempliorius tiesiogiai įrašo KV duomenis, kai tik jie parengti – taip koordinavimo darbas pašalinamas iš kritinio kelio. Testuojant su Qwen3-32B modeliu 1 prefill/1 decode konfigūracijoje EC2 P5en egzemplioriuose su EFA, push režimas pasiekė iki 3 kartų geresnį laiką iki pirmo tokeno (TTFT) ir iki 30% geresnį vieno tokeno generavimo laiką (TPOT) nei numatytasis pull režimas, ypač esant didelei užklausų apkrovai.

AWS Machine Learning
Tyrimai· 🧪 Verta testuoti

AWS atveria MoE branduolio optimizacijas vLLM sistemai – mažesnė delsa ir didesnis pralaidumas H200 GPU

AWS pristatė tris branduolio (kernel) lygio optimizacijas Mixture-of-Experts (MoE) modelių aptarnavimui Hopper GPU, sukurtas bendradarbiaujant su vLLM bendruomene ir įdiegtas Amazon SageMaker AI LMI konteineryje. Pakeitimai sprendžia fused MoE skaičiavimų neefektyvumą dekodavimo fazėje su mažomis partijomis, kai anksčiau Tensor Core branduoliai būdavo nepilnai išnaudojami. Kartu optimizacijos suteikia iki 10% didesnį pralaidumą ir iki 9% greitesnį laiką iki pirmo tokeno (TTFT).

AWS Machine Learning
Tyrimai· 🧪 Verta testuoti

Apple tyrėjai siūlo savarankiškai sprendžiantį kontekstą glaudinantį metodą ilgai veikiantiems AI agentams

Apple ML tyrėjai paskelbė NeurIPS straipsnį apie SELFCOMPACT – karkasą, leidžiantį kalbos modelių agentams patiems nuspręsti, kada ir kaip glaudinti sukauptą kontekstą, vietoj fiksuoto intervalo glaudinimo pagal žetonų skaičių. Metodas derina modelio iškviečiamą glaudinimo įrankį su lengvu taisyklių rinkiniu, nurodančiu, kada glaudinti (kai použduotis išspręsta) ir kada susilaikyti (vidury išvedimo ar įstrigus). Testuotas šešiuose etalonuose ir septyniuose modeliuose, jis prilygo arba lenkė fiksuoto intervalo glaudinimą naudodamas gerokai mažiau žetonų.

Apple Machine Learning
Tyrimai· Svarbu· 🧪 Verta testuoti

„Amazon“ „Priming“ metodas paverčia iš anksto apmokytus Transformer modelius efektyviais hibridais už mažiau nei 1% mokymo kainos

„Amazon Web Services“ tyrėjai paskelbė metodą „priming“, kuris paverčia iš anksto apmokytus Transformer modelius hibridinėmis architektūromis, derinančiomis dėmesio (attention) ir būsenos erdvės modelio (SSM) sluoksnius, panaudojant jau turimus svorius vietoj mokymo nuo nulio. Metodas sumažina mokymo sąnaudas daugiau nei 99% ir leidžia 32 milijardų parametrų hibridiniam modeliui pasiekti tokią pačią kokybę kaip originalus Transformer modelis, dekoduojant iki dvigubai greičiau. „Amazon“ išbandė tris SSM tipus ir atvirai paskelbė modelių rinkinį, mokymo kodą bei įrankius pagal Apache 2.0 licenciją.

Amazon Science