Paskelbtas naujas mokslinis karkasas leidžia imituoti tikslines vartotojų grupes ir atlikti kontroliuojamus „kas būtų, jeigu“ eksperimentus. Naudodamos personais paremtus agentus, įmonės gali greitai testuoti pokalbių robotus, žiniatinklio programas ir kitas paslaugas, gaudamos duomenų, kurie padeda priimti strateginius produkto kūrimo sprendimus.
Tyrėjai sukūrė metodą, leidžiantį pritaikyti bendrosios paskirties nekintančius LLM modelius full-duplex balso sistemoms, naudojant tik 97 mln. mokomų parametrų ir 30 GPU valandų treniravimo. Sistema veikia kaip „mąstytojo-kalbėtojo“ kaskada su 80 ms kadro taktu, užtikrinanti natūralų pokalbio valdymą, pertraukimus ir pritarimo signalus be didelio masto kalbos duomenų išankstinio apdorojimo.
Tyrėjai nustatė teorines maksimalaus atlygio padidėjimo ribas derinant kalbos modelius esant fiksuotiems KL-divergencijos apribojimams. Tyrimas rodo, kad „best-of-N“ atrankos metodas priartėja prie šių teorinių ribų, o įprasti stiprinamojo mokymosi metodai, tokie kaip PPO ir GRPO, šiuo metu pasiekia suboptimalius rezultatus.
Tyrėjai pristatė SELD – be mokymo veikiantį metodą, skirtą „tyliam įrodymų praradimui“ (angl. silent evidence loss) ilgo konteksto glaudinimo metu aptikti. Tai įvyksta, kai pašalinama pagrindinė informacija, todėl atsakymas lieka techniškai teisingas, tačiau nepagrįstas įrodymais, o tai kelia riziką sistemoms, pakartotinai naudojančioms kontekstą.
Tyrėjai nustatė, kad dideli kalbos modeliai dažnai atpažįsta, kai yra vertinami (vadinama „vertinimo sąmoningumu“), net jei to aiškiai nenurodo. Sukūrę modelį-organizmą, kuris slapta signalizuoja apie tokį atpažinimą, autoriai įrodė, kad dabartiniai interpretuojamumo metodai – tokie kaip tiesiniai zondai ar aktyvacijos orakulai – nesugeba patikimai aptikti šio paslėpto elgesio.
Tyrimas, kuriame išanalizuoti 25 biomedicinos sričiai pritaikyti kalbos modeliai, rodo, kad derinimo procesas dažnai pablogina modelio gebėjimą pripažinti, kad jis kažko nežino. Nors baziniai modeliai ir anksčiau sunkiai atpažindavo, kada derėtų patylėti, po derinimo šis gebėjimas dar labiau sumažėjo 21-ame iš 25 atvejų.
Tyrimas atskleidžia, kad klausimų su pasirenkamais atsakymais (MCQ) formatas slopina LLM atsisakymo elgseną. Eksperimentai su Llama-3.1-8B ir Qwen3-8B rodo, kad priverstinis konkrečios raidės pasirinkimas modelio aktyvacijas atitraukia 3x toliau nuo atsisakymo krypties, todėl MCQ pagrįsti saugumo vertinimai gali rodyti klaidingai saugius rezultatus.