Pereiti prie turinio
2026 m. lapkričio 20 d., penktadienis
Tenesys AI News
Prenumerata

AI tyrimai

Moksliniai darbai, benchmarkai, architektūros, reasoning ir mokymo metodai.

#Benchmark — 6 straipsniai ✕

Tyrimai· Svarbu· 🧪 Verta testuoti

MCQ testų formatai dirbtinai slepia LLM saugumo spragas

Tyrimas atskleidžia, kad klausimų su pasirenkamais atsakymais (MCQ) formatas slopina LLM atsisakymo elgseną. Eksperimentai su Llama-3.1-8B ir Qwen3-8B rodo, kad priverstinis konkrečios raidės pasirinkimas modelio aktyvacijas atitraukia 3x toliau nuo atsisakymo krypties, todėl MCQ pagrįsti saugumo vertinimai gali rodyti klaidingai saugius rezultatus.

arXiv cs.CL
Tyrimai· 🧪 Verta testuoti

Naujas etalonas atskleidžia: paieškos tikslumas neatitinka ilgo konteksto atminties

Pristatytas „Simple Retrieval-Reconstruction Memory“ (SRRM) etalonas, skirtas geriau įvertinti mažųjų kalbos modelių (SLM) ilgo konteksto našumą. Tyrimai rodo, kad didėjant konteksto ilgiui, modelio gebėjimas atkurti informaciją prastėja daug sparčiau nei gebėjimas rasti konkrečius faktus, todėl standartiniai paieškos testai nėra pakankami tikrajai atminčiai matuoti.

arXiv cs.CL

Ai2 pristatė atvirą palydovinių embeddingų modelį OlmoEarth v1.3 su nemokamu žemėlapių įrankiu

Ai2 išleido OlmoEarth v1.3 — embeddingų modelį, kuris metus trukusius radaro ir multispektrinius palydovinius duomenis suspaudžia į vieną kompaktišką vektorių kiekvienam 10 metrų žemės taškui. Kartu pristatytas nemokamas naršyklėje veikiantis įrankis „OlmoEarth Embeddings Explorer“, leidžiantis palyginti kraštovaizdžius per metus arba treniruoti mažus klasifikatorius be GPU. Lyginant su AlphaEarth Foundations ir Tessera v2 per 27 testus, naujasis modelis pirmauja bendrame vertinime, o jo treniravimas kainavo gerokai mažiau nei ankstesnių versijų.

Hugging Face
Tyrimai· Svarbu

Allen Institute pristatė „FairStress“ – naują etalonų rinkinį paslėptam LLM šališkumui atskleisti

Allen Institute for AI (Ai2) paskelbė FairStress – etaloną, kuris tikrina LLM demografinį sąžiningumą ne tik pagal galutinį sprendimą, bet ir pagal tai, kaip lengvai tas sprendimas keičiasi veikiant įtikinėjimui. Testuojant atvirojo kodo ir priešakinius modelius, tarp jų Olmo, Llama, Qwen, Gemma, Claude ir GPT šeimą, nustatyta, kad modeliai dažniau atsisako teisingo, gerai pagrįsto sprendimo, kai tai naudinga mažumai priskiriamam kandidatui – šis reiškinys vadinamas „anti-stereotipiniu peržengimu“ (anti-stereotypical over-correction). Etaloną sudaro 300 scenarijų 29 srityse (įdarbinimas, kreditavimas, sveikatos priežiūra, švietimas, būstas, baudžiamoji teisė), išplėstų į daugiau nei 13 mln. testinių atvejų, taip pat mažesnis 50 tūkst. elementų „FairStress-Core“ pogrupis greitesniam vertinimui.

Hugging Face
Tyrimai· Svarbu· 🧪 Verta testuoti

GitHub atveria ReviewBench — bendrą standartą AI kodo peržiūros agentų vertinimui

GitHub paskelbė ReviewBench — tyrimų peržiūros stadijos (research preview) etaloną, skirtą palyginti AI kodo peržiūros agentus pagal bendrą, patikrinamą standartą. Duomenų rinkinį sudaro 219 realių viešų pull request'ų iš 19 kalbų ir 187 saugyklų, parinktų taip, kad atspindėtų kalbų ir dydžio pasiskirstymą tarp 103,9 mln. realių GitHub PR. Pagrindinė tiesa (ground truth) sudaryta iš žmonių recenzentų, statinės analizės įrankių ir kelių pažangiausių (frontier) LLM, o jų vertinimus patikrino vyresnieji inžinieriai, kurių sprendimai sutapo su etalono žymėjimais 96,6% atvejų. GitHub teigia jau naudojęs ReviewBench vidiniam Copilot code review (CCR) produkto sekimui, ir kad offline etalono pokyčiai patikimai prognozavo vėlesnių gamybinių A/B testų kryptį.

GitHub