Pereiti prie turinio
2026 m. lapkričio 20 d., penktadienis
Tenesys AI News
Prenumerata

AI tyrimai

Moksliniai darbai, benchmarkai, architektūros, reasoning ir mokymo metodai.

#Evaluation — 5 straipsniai ✕

Tyrimai· 🧪 Verta testuoti

Naujas etalonas atskleidžia: paieškos tikslumas neatitinka ilgo konteksto atminties

Pristatytas „Simple Retrieval-Reconstruction Memory“ (SRRM) etalonas, skirtas geriau įvertinti mažųjų kalbos modelių (SLM) ilgo konteksto našumą. Tyrimai rodo, kad didėjant konteksto ilgiui, modelio gebėjimas atkurti informaciją prastėja daug sparčiau nei gebėjimas rasti konkrečius faktus, todėl standartiniai paieškos testai nėra pakankami tikrajai atminčiai matuoti.

arXiv cs.CL
Tyrimai· Svarbu· 🧪 Verta testuoti

„Google“ pristatė inžinerinių dirbtinio intelekto agentų vertinimo standartą

„Google“ pristatė „Physical-Engineering's Last Exam“ (PLE) – naują vertinimo sistemą, skirtą tikrinti DI agentų gebėjimus mechaninės, elektros, civilinės ir struktūrinės inžinerijos srityse. Skirtingai nei standartiniuose testuose, PLE reikalauja, kad agentai apdorotų didelius projekto aplankus, įskaitant CAD brėžinius ir statybos normas, ir pateiktų saugius, reikalavimus atitinkančius sprendimus.

Google Cloud AI
Tyrimai· Svarbu· 🧪 Verta testuoti

Nauja metrika gerina LLM agentų patikimumą per nuoseklumo mokymą

Tyrėjai pristatė „Recursive Semantic Divergence“ (RSD) – neprižiūrimą metriką, kuri matuoja ir baudžia už nenuoseklumą LLM agentų trajektorijose. Naudojant RSD kaip atlygio signalą tiksliojo derinimo (fine-tuning) metu, modeliai demonstruoja daug stabilesnį elgesį ir didesnius sėkmės rodiklius atliekant įrankių naudojimo užduotis.

arXiv cs.CL

„Amazon“ pasitelkė nepriklausomą organizaciją AVERI savo AI saugumo testų peržiūrai

„Amazon“ bendradarbiavo su nepriklausoma ne pelno organizacija AVERI, kuri audituoja ne pačių modelių atsakymus, o vidinių saugumo vertinimo duomenų rinkinių kokybę. AVERI peržiūrėjo atsitiktinę, anonimizuotą saugumo testų užklausų imtį, apimančią kenksmingo turinio, kibernetinio saugumo, privatumo ir autorių teisių sritis. Peržiūra patvirtino gerą temų aprėptį, įvairius testavimo metodus ir žemą duomenų užteršimo riziką, bet nurodė spragas daugiakalbystės aprėptyje ir daugiažingsnių priešiškų užklausų testavime. „Amazon“ reaguodama atliko keturis konkrečius pokyčius.

Amazon Science
Tyrimai· Svarbu· 🧪 Verta testuoti

GitHub atveria ReviewBench — bendrą standartą AI kodo peržiūros agentų vertinimui

GitHub paskelbė ReviewBench — tyrimų peržiūros stadijos (research preview) etaloną, skirtą palyginti AI kodo peržiūros agentus pagal bendrą, patikrinamą standartą. Duomenų rinkinį sudaro 219 realių viešų pull request'ų iš 19 kalbų ir 187 saugyklų, parinktų taip, kad atspindėtų kalbų ir dydžio pasiskirstymą tarp 103,9 mln. realių GitHub PR. Pagrindinė tiesa (ground truth) sudaryta iš žmonių recenzentų, statinės analizės įrankių ir kelių pažangiausių (frontier) LLM, o jų vertinimus patikrino vyresnieji inžinieriai, kurių sprendimai sutapo su etalono žymėjimais 96,6% atvejų. GitHub teigia jau naudojęs ReviewBench vidiniam Copilot code review (CCR) produkto sekimui, ir kad offline etalono pokyčiai patikimai prognozavo vėlesnių gamybinių A/B testų kryptį.

GitHub