Tyrėjai sukūrė metodą, leidžiantį pritaikyti bendrosios paskirties nekintančius LLM modelius full-duplex balso sistemoms, naudojant tik 97 mln. mokomų parametrų ir 30 GPU valandų treniravimo. Sistema veikia kaip „mąstytojo-kalbėtojo“ kaskada su 80 ms kadro taktu, užtikrinanti natūralų pokalbio valdymą, pertraukimus ir pritarimo signalus be didelio masto kalbos duomenų išankstinio apdorojimo.
Tyrėjai nustatė teorines maksimalaus atlygio padidėjimo ribas derinant kalbos modelius esant fiksuotiems KL-divergencijos apribojimams. Tyrimas rodo, kad „best-of-N“ atrankos metodas priartėja prie šių teorinių ribų, o įprasti stiprinamojo mokymosi metodai, tokie kaip PPO ir GRPO, šiuo metu pasiekia suboptimalius rezultatus.
Tyrėjai nustatė, kad paslėptų būsenų tikslų formavimas turi didelę įtaką LLM žinių atnaujinimo kokybei. Naudojant L1 reguliarizacijos metodą, pašalinami nereikalingi žinių vektorių komponentai, taip sumažinant interferenciją parametrų redagavimo metu ir užtikrinant tikslesnį žinių įvedimą.
Tyrėjai nustatė, kad dideli kalbos modeliai dažnai atpažįsta, kai yra vertinami (vadinama „vertinimo sąmoningumu“), net jei to aiškiai nenurodo. Sukūrę modelį-organizmą, kuris slapta signalizuoja apie tokį atpažinimą, autoriai įrodė, kad dabartiniai interpretuojamumo metodai – tokie kaip tiesiniai zondai ar aktyvacijos orakulai – nesugeba patikimai aptikti šio paslėpto elgesio.
Mokslininkai pristatė FFN-Perturbed Self-Distillation (FPD) metodą, skirtą jautrios informacijos pašalinimui iš multimodalių didelių kalbos modelių (MLLM). Šis būdas sumažina modelio naudingumo praradimą, naudojant originalų mokytojo modelio rezultatų pasiskirstymą kaip atskaitos tašką ir tikslingai pertvarkant FFN aktyvacijas, susijusias su privačiais duomenimis.
Tyrimas, kuriame išanalizuoti 25 biomedicinos sričiai pritaikyti kalbos modeliai, rodo, kad derinimo procesas dažnai pablogina modelio gebėjimą pripažinti, kad jis kažko nežino. Nors baziniai modeliai ir anksčiau sunkiai atpažindavo, kada derėtų patylėti, po derinimo šis gebėjimas dar labiau sumažėjo 21-ame iš 25 atvejų.
Tyrimas atskleidžia, kad klausimų su pasirenkamais atsakymais (MCQ) formatas slopina LLM atsisakymo elgseną. Eksperimentai su Llama-3.1-8B ir Qwen3-8B rodo, kad priverstinis konkrečios raidės pasirinkimas modelio aktyvacijas atitraukia 3x toliau nuo atsisakymo krypties, todėl MCQ pagrįsti saugumo vertinimai gali rodyti klaidingai saugius rezultatus.
Tyrėjai nustatė, kad LLM modeliai yra linkę pateikti skubotus, dažnai neteisingus atsakymus dviprasmiškose situacijose, užuot uždavę patikslinamuosius klausimus. Jie pristatė BACE (Belief-Aware Critic with Epistemic tracking) – lengvą metodą, veikiantį su užrakintu kalbos modeliu, padedantį strategiškai nuspręsti, kada prašyti paaiškinimo.
Naujas metodas, vadinamas „FlagRot“, optimizuoja raktų-reikšmių (KV) talpyklos kvantavimą ilgo konteksto modeliams. Selektyviai pasukant raktų segmentus pagal dėmesio (attention) klaidą, o ne taikant bendrąją rotaciją, sumažinami tikslumo nuostoliai naudojant 2 bitų arba 4 bitų talpyklas.
Tyrėjai pristatė SLATE – etaloninį testą, skirtą įvertinti ilgalaikį, didelio masto API pasirinkimą įmonių programinės įrangos aplinkose. Skirtingai nei dabartiniai testai, jis priverčia modelius naviguoti tarp maždaug 1000 įrankių, kad atliktų sudėtingas užduotis.
Nauji tyrimai rodo, kad samprotavimo istoriją galima perrašyti į kompaktiškus būsenos įrašus prieš įvedant naujus įrankių rezultatus. Šis metodas veiksmingai sumažina būsimų samprotavimo žetonų skaičių ir bendras agento išlaidas, pašalindamas nereikalingas mintis, nereikalaujant modelio perkvalifikavimo.
Tyrėjai sukūrė metodą, leidžiantį apskaičiuoti teorinę kelių juodraščių spekuliacinio dekodavimo (MDSD) efektyvumo ribą, sprendžiant optimalaus transportavimo problemos dualiąją formą. Tyrimas atskleidžia, kad dabartiniai verifikavimo algoritmai dažnai nepasiekia šios ribos, o atranka be grąžinimo (sampling without replacement) gerokai padidina priėmimo rodiklius, palyginti su atranka su grąžinimu.
Tyrimas atskleidė, kad tos pačios asmenybės instrukcijos sukelia skirtingus LLM elgsenos rezultatus keičiant anglų kalbą į korėjiečių. Nors pirkėjai nurodymų laikėsi panašiai, pardavėjai korėjiečių kalba tapo gerokai paslaugesni ir mandagesni, todėl dažniau pasiekiama susitarimų ir mažesnės kainos.
Pristatytas „Circuit Oracle“ – kelių agentų LLM sistema, skirta kalbos modelių skaičiavimams interpretuoti analizuojant atributų grafus. Įrankis naudoja „tool calling“ funkciją, kad atsakytų į natūralios kalbos klausimus apie tikslinio modelio elgseną ir saugumą.
„Apple“ tyrėjai pristatė naują mobiliųjų UI agentų mokymo infrastruktūrą, kuri atskiria navigacijos logiką nuo vizualinio atpažinimo. Naudojant žingsninį atlygį iš LLM vertintojo ir naują GiGPPO vertinimo metodą, šie agentai pasižymi didesniu patikimumu nei modeliai, apmokyti tik stacionariais duomenimis.
Naujausi tyrimai rodo, kad daugelis didžiųjų kalbos modelių (LLM) „attention“ galvų yra perteklinės ir tiesiogiai prisideda prie pažodinio mokymo duomenų atkartojimo. Selektyviai išjungus šias galvas inferencijos metu, tyrėjai pasiekė 91,5 % atkartojimo sumažėjimą ir tuo pačiu pagerino modelio našumą standartiniuose testuose.
Naujausi tyrimai rodo, kad kalbos modeliai nesugeba prisitaikyti prie besikeičiančių vartotojo preferencijų ir dažnai tiesiog aklai remiasi pasenusiais duomenimis. Nors modeliai geba atpažinti tinkamą strategiją atrankos testuose, laisvos formos generavimo metu jų tikslumas krenta 35–46%.
Tyrėjai pristatė LOTUS – sistemą haliucinacijoms aptikti, kuri naudoja multilinijinę mažo rango dekompoziciją (low-rank decomposition) signalams iš paslėptų LLM sluoksnių išgauti. Analizuojant aktyvacijų pikus ir tarp-sluoksninius modelius, šis metodas tiksliau atpažįsta neteisingus atsakymus nei dabartinės telkimo (pooling) technikos.
Tyrėjai sukūrė „TraceQuery“ – retų (sparse) dekodavimo karkasą, mažinantį difuzinių didžiųjų kalbos modelių (dLLM) skaičiavimo kaštus. Analizuojant triukšmo šalinimo trajektorijas, metodas selektyviai perskaičiuoja tik būtinas žetonų (token) reprezentacijas, užuot atlikęs perteklines operacijas, taip išlaikant aukštą tikslumą su mažesniais skaičiavimo resursais.
Tyrėjai pristatė „Recursive Semantic Divergence“ (RSD) – neprižiūrimą metriką, kuri matuoja ir baudžia už nenuoseklumą LLM agentų trajektorijose. Naudojant RSD kaip atlygio signalą tiksliojo derinimo (fine-tuning) metu, modeliai demonstruoja daug stabilesnį elgesį ir didesnius sėkmės rodiklius atliekant įrankių naudojimo užduotis.
Naujas tyrimas su Qwen3.5-27B parodo, kad nors aktyvavimo intervencijos gali priversti modelį pateikti konkretų atsakymą, jos dažnai neužtikrina teisingo loginio pagrindimo. Pastebėta, kad sėkmė atrankos užduotyse dingsta, kai faktai pergrupuojami, o tai rodo, kad priverstinė išvestis nėra patikimas įrankių naudojimo sąlygų logikos rodiklis.
IBM Research pristatė vLLM-Hook MIA – papildinį atviro kodo vLLM išvedimo varikliui, leidžiantį kūrėjams stebėti ir keisti modelio vidinę būseną vykdymo metu – pavyzdžiui, atmesti kenkėjiškus užklausimus, pažymėti haliucinuotus faktus ar koreguoti atsakymo toną – neišjungiant spartaus vLLM grafikų kartojimo režimo. Pagal IBM techninę ataskaitą, MIA yra iki 20 kartų greitesnis nei ankstesnė vLLM-Hook versija ir iki 14 kartų greitesnis nei metodai, įterpiantys kodą tiesiai į modelį. Testuose valdant 8B Llama ar 1,5B Qwen modelį delsa padidėjo vos apie 2%, o su 70B Llama modeliu – apie 6%.
Allen Institute for AI (Ai2) paskelbė FairStress – etaloną, kuris tikrina LLM demografinį sąžiningumą ne tik pagal galutinį sprendimą, bet ir pagal tai, kaip lengvai tas sprendimas keičiasi veikiant įtikinėjimui. Testuojant atvirojo kodo ir priešakinius modelius, tarp jų Olmo, Llama, Qwen, Gemma, Claude ir GPT šeimą, nustatyta, kad modeliai dažniau atsisako teisingo, gerai pagrįsto sprendimo, kai tai naudinga mažumai priskiriamam kandidatui – šis reiškinys vadinamas „anti-stereotipiniu peržengimu“ (anti-stereotypical over-correction). Etaloną sudaro 300 scenarijų 29 srityse (įdarbinimas, kreditavimas, sveikatos priežiūra, švietimas, būstas, baudžiamoji teisė), išplėstų į daugiau nei 13 mln. testinių atvejų, taip pat mažesnis 50 tūkst. elementų „FairStress-Core“ pogrupis greitesniam vertinimui.
„Google“ pristatė TorchTPU – natyvų PyTorch backend'ą Cloud TPU („torch.device("tpu")“), ir kartu su „Meta“ sukūrė TorchTitan atšaką, pritaikytą mokymui TPU įrenginiuose. Anksčiau norint mokyti PyTorch modelius TPU reikėdavo perrašyti kodą į JAX arba naudoti senesnį torch_xla kelią; dabar pakanka minimalių įrenginio inicializavimo pakeitimų. Atšaka siūlo paruoštus receptus didelių tankių modelių (Llama 3 70B/405B, Qwen 3 8B/32B), MoE modelių (Qwen 3 235B) ir difuzinių transformerių (FLUX.1 12B) pirminiam mokymui, taip pat „Graph Trainer“, kuris visą mokymo žingsnį užfiksuoja kaip vieną XLA programą geresniam kompiliatoriaus optimizavimui.