Mokslininkai pristatė FFN-Perturbed Self-Distillation (FPD) metodą, skirtą jautrios informacijos pašalinimui iš multimodalių didelių kalbos modelių (MLLM). Šis būdas sumažina modelio naudingumo praradimą, naudojant originalų mokytojo modelio rezultatų pasiskirstymą kaip atskaitos tašką ir tikslingai pertvarkant FFN aktyvacijas, susijusias su privačiais duomenimis.
Tyrimas, kuriame išanalizuoti 25 biomedicinos sričiai pritaikyti kalbos modeliai, rodo, kad derinimo procesas dažnai pablogina modelio gebėjimą pripažinti, kad jis kažko nežino. Nors baziniai modeliai ir anksčiau sunkiai atpažindavo, kada derėtų patylėti, po derinimo šis gebėjimas dar labiau sumažėjo 21-ame iš 25 atvejų.
Tyrimas atskleidžia, kad klausimų su pasirenkamais atsakymais (MCQ) formatas slopina LLM atsisakymo elgseną. Eksperimentai su Llama-3.1-8B ir Qwen3-8B rodo, kad priverstinis konkrečios raidės pasirinkimas modelio aktyvacijas atitraukia 3x toliau nuo atsisakymo krypties, todėl MCQ pagrįsti saugumo vertinimai gali rodyti klaidingai saugius rezultatus.
AI agentai dažnai klaidingai supranta senus kodo komentarus, tokius kaip TODO ar FIXME, laikydami juos dabartinėmis instrukcijomis. Tyrimai rodo, kad 6 % programavimo sesijų agentai imasi tirti nereikšmingus, uždarytus ar pasenusius klaidas, o tai didina išlaidas ir apimties didėjimą (scope creep).
Tyrėjai nustatė, kad LLM modeliai yra linkę pateikti skubotus, dažnai neteisingus atsakymus dviprasmiškose situacijose, užuot uždavę patikslinamuosius klausimus. Jie pristatė BACE (Belief-Aware Critic with Epistemic tracking) – lengvą metodą, veikiantį su užrakintu kalbos modeliu, padedantį strategiškai nuspręsti, kada prašyti paaiškinimo.
Pristatytas „Simple Retrieval-Reconstruction Memory“ (SRRM) etalonas, skirtas geriau įvertinti mažųjų kalbos modelių (SLM) ilgo konteksto našumą. Tyrimai rodo, kad didėjant konteksto ilgiui, modelio gebėjimas atkurti informaciją prastėja daug sparčiau nei gebėjimas rasti konkrečius faktus, todėl standartiniai paieškos testai nėra pakankami tikrajai atminčiai matuoti.
Naujas metodas, vadinamas „FlagRot“, optimizuoja raktų-reikšmių (KV) talpyklos kvantavimą ilgo konteksto modeliams. Selektyviai pasukant raktų segmentus pagal dėmesio (attention) klaidą, o ne taikant bendrąją rotaciją, sumažinami tikslumo nuostoliai naudojant 2 bitų arba 4 bitų talpyklas.
Tyrėjai pristatė SLATE – etaloninį testą, skirtą įvertinti ilgalaikį, didelio masto API pasirinkimą įmonių programinės įrangos aplinkose. Skirtingai nei dabartiniai testai, jis priverčia modelius naviguoti tarp maždaug 1000 įrankių, kad atliktų sudėtingas užduotis.
Nauji tyrimai rodo, kad samprotavimo istoriją galima perrašyti į kompaktiškus būsenos įrašus prieš įvedant naujus įrankių rezultatus. Šis metodas veiksmingai sumažina būsimų samprotavimo žetonų skaičių ir bendras agento išlaidas, pašalindamas nereikalingas mintis, nereikalaujant modelio perkvalifikavimo.
Tyrėjai sukūrė metodą, leidžiantį apskaičiuoti teorinę kelių juodraščių spekuliacinio dekodavimo (MDSD) efektyvumo ribą, sprendžiant optimalaus transportavimo problemos dualiąją formą. Tyrimas atskleidžia, kad dabartiniai verifikavimo algoritmai dažnai nepasiekia šios ribos, o atranka be grąžinimo (sampling without replacement) gerokai padidina priėmimo rodiklius, palyginti su atranka su grąžinimu.
„Google“ pristatė „Physical-Engineering's Last Exam“ (PLE) – naują vertinimo sistemą, skirtą tikrinti DI agentų gebėjimus mechaninės, elektros, civilinės ir struktūrinės inžinerijos srityse. Skirtingai nei standartiniuose testuose, PLE reikalauja, kad agentai apdorotų didelius projekto aplankus, įskaitant CAD brėžinius ir statybos normas, ir pateiktų saugius, reikalavimus atitinkančius sprendimus.
Naujausi tyrimai rodo, kad komerciniai AI teksto „humanizavimo“ įrankiai, skirti apeiti AI detektorius, dažnai pakeičia arba pašalina svarbius faktus, tokius kaip vardai, skaičiai ir datos. Iš 11 tirtų įrankių, 35–65 % dokumentų, kuriuose buvo faktinių duomenų, patyrė klaidų perrašymo proceso metu.
Tyrimas atskleidė, kad tos pačios asmenybės instrukcijos sukelia skirtingus LLM elgsenos rezultatus keičiant anglų kalbą į korėjiečių. Nors pirkėjai nurodymų laikėsi panašiai, pardavėjai korėjiečių kalba tapo gerokai paslaugesni ir mandagesni, todėl dažniau pasiekiama susitarimų ir mažesnės kainos.
„Apple“ tyrėjai pristatė naują mobiliųjų UI agentų mokymo infrastruktūrą, kuri atskiria navigacijos logiką nuo vizualinio atpažinimo. Naudojant žingsninį atlygį iš LLM vertintojo ir naują GiGPPO vertinimo metodą, šie agentai pasižymi didesniu patikimumu nei modeliai, apmokyti tik stacionariais duomenimis.
Naujausi tyrimai rodo, kad kalbos modeliai nesugeba prisitaikyti prie besikeičiančių vartotojo preferencijų ir dažnai tiesiog aklai remiasi pasenusiais duomenimis. Nors modeliai geba atpažinti tinkamą strategiją atrankos testuose, laisvos formos generavimo metu jų tikslumas krenta 35–46%.
Pristatytas „Artifact Distillation“ metodas, leidžiantis galingiems modeliams eksportuoti savo sprendimų priėmimo procesus į išorinę duomenų saugyklą. Mažesni modeliai, naudodamiesi šia informacija vykdymo metu, pasiekia geresnių rezultatų be būtinybės atlikti brangų modelio tobulinimą (fine-tuning).
Tyrėjai pristatė LOTUS – sistemą haliucinacijoms aptikti, kuri naudoja multilinijinę mažo rango dekompoziciją (low-rank decomposition) signalams iš paslėptų LLM sluoksnių išgauti. Analizuojant aktyvacijų pikus ir tarp-sluoksninius modelius, šis metodas tiksliau atpažįsta neteisingus atsakymus nei dabartinės telkimo (pooling) technikos.
Tyrėjai pasiūlė „k-center“ algoritmo metodą, pagrįstą įterpinių (embeddings) naudojimu, skirtą mažesniems, bet reprezentatyvesniems treniravimo duomenų rinkiniams parinkti. Šis metodas veikia geriau nei atsitiktinė atranka, nes užtikrina didesnę kalbinę įvairovę, ypač kai ribojami treniravimo ištekliai.
Tyrėjai pristatė „Recursive Semantic Divergence“ (RSD) – neprižiūrimą metriką, kuri matuoja ir baudžia už nenuoseklumą LLM agentų trajektorijose. Naudojant RSD kaip atlygio signalą tiksliojo derinimo (fine-tuning) metu, modeliai demonstruoja daug stabilesnį elgesį ir didesnius sėkmės rodiklius atliekant įrankių naudojimo užduotis.
Naujas tyrimas su Qwen3.5-27B parodo, kad nors aktyvavimo intervencijos gali priversti modelį pateikti konkretų atsakymą, jos dažnai neužtikrina teisingo loginio pagrindimo. Pastebėta, kad sėkmė atrankos užduotyse dingsta, kai faktai pergrupuojami, o tai rodo, kad priverstinė išvestis nėra patikimas įrankių naudojimo sąlygų logikos rodiklis.
IBM Research pristatė vLLM-Hook MIA – papildinį atviro kodo vLLM išvedimo varikliui, leidžiantį kūrėjams stebėti ir keisti modelio vidinę būseną vykdymo metu – pavyzdžiui, atmesti kenkėjiškus užklausimus, pažymėti haliucinuotus faktus ar koreguoti atsakymo toną – neišjungiant spartaus vLLM grafikų kartojimo režimo. Pagal IBM techninę ataskaitą, MIA yra iki 20 kartų greitesnis nei ankstesnė vLLM-Hook versija ir iki 14 kartų greitesnis nei metodai, įterpiantys kodą tiesiai į modelį. Testuose valdant 8B Llama ar 1,5B Qwen modelį delsa padidėjo vos apie 2%, o su 70B Llama modeliu – apie 6%.
AWS išleido „push“ tipo NIXL konektorių vLLM sistemai, keičiantį, kaip raktas-reikšmė (KV) talpyklos duomenys perduodami tarp prefill ir decode egzempliorių atskirtame LLM aptarnavime. Vietoj to, kad decode egzempliorius trauktų KV blokus po prefill pabaigos, decode egzempliorius iš anksto užregistruoja paskirties atmintį, o prefill egzempliorius tiesiogiai įrašo KV duomenis, kai tik jie parengti – taip koordinavimo darbas pašalinamas iš kritinio kelio. Testuojant su Qwen3-32B modeliu 1 prefill/1 decode konfigūracijoje EC2 P5en egzemplioriuose su EFA, push režimas pasiekė iki 3 kartų geresnį laiką iki pirmo tokeno (TTFT) ir iki 30% geresnį vieno tokeno generavimo laiką (TPOT) nei numatytasis pull režimas, ypač esant didelei užklausų apkrovai.
AWS pristatė tris branduolio (kernel) lygio optimizacijas Mixture-of-Experts (MoE) modelių aptarnavimui Hopper GPU, sukurtas bendradarbiaujant su vLLM bendruomene ir įdiegtas Amazon SageMaker AI LMI konteineryje. Pakeitimai sprendžia fused MoE skaičiavimų neefektyvumą dekodavimo fazėje su mažomis partijomis, kai anksčiau Tensor Core branduoliai būdavo nepilnai išnaudojami. Kartu optimizacijos suteikia iki 10% didesnį pralaidumą ir iki 9% greitesnį laiką iki pirmo tokeno (TTFT).
Apple ML tyrėjai paskelbė NeurIPS straipsnį apie SELFCOMPACT – karkasą, leidžiantį kalbos modelių agentams patiems nuspręsti, kada ir kaip glaudinti sukauptą kontekstą, vietoj fiksuoto intervalo glaudinimo pagal žetonų skaičių. Metodas derina modelio iškviečiamą glaudinimo įrankį su lengvu taisyklių rinkiniu, nurodančiu, kada glaudinti (kai použduotis išspręsta) ir kada susilaikyti (vidury išvedimo ar įstrigus). Testuotas šešiuose etalonuose ir septyniuose modeliuose, jis prilygo arba lenkė fiksuoto intervalo glaudinimą naudodamas gerokai mažiau žetonų.