Pereiti prie turinio
2026 m. lapkričio 20 d., penktadienis
Tenesys AI News
Prenumerata

Visos naujienos

TENESYS AI NEWS seka svarbiausias AI naujienas ir paaiškina, kas pasikeitė, kodėl tai svarbu ir ar technologiją verta išbandyti.

#Benchmark — 4 straipsniai ✕

Tyrimai· Svarbu· 🧪 Verta testuoti

MCQ testų formatai dirbtinai slepia LLM saugumo spragas

Tyrimas atskleidžia, kad klausimų su pasirenkamais atsakymais (MCQ) formatas slopina LLM atsisakymo elgseną. Eksperimentai su Llama-3.1-8B ir Qwen3-8B rodo, kad priverstinis konkrečios raidės pasirinkimas modelio aktyvacijas atitraukia 3x toliau nuo atsisakymo krypties, todėl MCQ pagrįsti saugumo vertinimai gali rodyti klaidingai saugius rezultatus.

arXiv cs.CL
Tyrimai· Svarbu

Allen Institute pristatė „FairStress“ – naują etalonų rinkinį paslėptam LLM šališkumui atskleisti

Allen Institute for AI (Ai2) paskelbė FairStress – etaloną, kuris tikrina LLM demografinį sąžiningumą ne tik pagal galutinį sprendimą, bet ir pagal tai, kaip lengvai tas sprendimas keičiasi veikiant įtikinėjimui. Testuojant atvirojo kodo ir priešakinius modelius, tarp jų Olmo, Llama, Qwen, Gemma, Claude ir GPT šeimą, nustatyta, kad modeliai dažniau atsisako teisingo, gerai pagrįsto sprendimo, kai tai naudinga mažumai priskiriamam kandidatui – šis reiškinys vadinamas „anti-stereotipiniu peržengimu“ (anti-stereotypical over-correction). Etaloną sudaro 300 scenarijų 29 srityse (įdarbinimas, kreditavimas, sveikatos priežiūra, švietimas, būstas, baudžiamoji teisė), išplėstų į daugiau nei 13 mln. testinių atvejų, taip pat mažesnis 50 tūkst. elementų „FairStress-Core“ pogrupis greitesniam vertinimui.

Hugging Face
Agentai· Svarbu· 🧪 Verta testuoti

IBM „ALTK-Evolve“ pagerina klientų aptarnavimo agentus naudodama išmoktas prompt gaires, be modelio perkvalifikavimo

IBM Research sukurtas ALTK-Evolve išskiria trumpas elgsenos taisykles iš agento ankstesnių mokymo užduočių bandymų ir prideda jas prie bazinio ReAct agento, veikiančio su GPT-4.1, sisteminio prompt'o. τ²-bench klientų aptarnavimo benchmarke (mažmeninės prekybos ir oro linijų srityse) šis mokymosi atminties metodas pagerino tikslumą ir patikimumą be modelio svorių atnaujinimo ar žmogaus anotacijų. Pilnas „lossless“ gairių rinkinys pakėlė GPT-4.1 agentą iki 67,5% Pass^4 balo mažmeninėje prekyboje — tai aukščiausias rezultatas 2026 m. spalio 12 d. lyderių lentelės momentinėje nuotraukoje, aplenkiant net modelį, specialiai perkvalifikuotą sintetiniais mažmeninės prekybos duomenimis. Technika taip pat pagerino pažangų GPT-5.5 agentą oro linijų užduotyse, pakėlusi jį į lyderių lentelės viršūnę.

Hugging Face