Pereiti prie turinio
2026 m. lapkričio 20 d., penktadienis
Tenesys AI News
Prenumerata

Visos naujienos

TENESYS AI NEWS seka svarbiausias AI naujienas ir paaiškina, kas pasikeitė, kodėl tai svarbu ir ar technologiją verta išbandyti.

#Benchmark — 4 straipsniai ✕

Tyrimai· Svarbu· 🧪 Verta testuoti

MCQ testų formatai dirbtinai slepia LLM saugumo spragas

Tyrimas atskleidžia, kad klausimų su pasirenkamais atsakymais (MCQ) formatas slopina LLM atsisakymo elgseną. Eksperimentai su Llama-3.1-8B ir Qwen3-8B rodo, kad priverstinis konkrečios raidės pasirinkimas modelio aktyvacijas atitraukia 3x toliau nuo atsisakymo krypties, todėl MCQ pagrįsti saugumo vertinimai gali rodyti klaidingai saugius rezultatus.

arXiv cs.CL
Tyrimai· 🧪 Verta testuoti

Naujas etalonas atskleidžia: paieškos tikslumas neatitinka ilgo konteksto atminties

Pristatytas „Simple Retrieval-Reconstruction Memory“ (SRRM) etalonas, skirtas geriau įvertinti mažųjų kalbos modelių (SLM) ilgo konteksto našumą. Tyrimai rodo, kad didėjant konteksto ilgiui, modelio gebėjimas atkurti informaciją prastėja daug sparčiau nei gebėjimas rasti konkrečius faktus, todėl standartiniai paieškos testai nėra pakankami tikrajai atminčiai matuoti.

arXiv cs.CL
Agentai· Svarbu· 🧪 Verta testuoti

IBM „ALTK-Evolve“ pagerina klientų aptarnavimo agentus naudodama išmoktas prompt gaires, be modelio perkvalifikavimo

IBM Research sukurtas ALTK-Evolve išskiria trumpas elgsenos taisykles iš agento ankstesnių mokymo užduočių bandymų ir prideda jas prie bazinio ReAct agento, veikiančio su GPT-4.1, sisteminio prompt'o. τ²-bench klientų aptarnavimo benchmarke (mažmeninės prekybos ir oro linijų srityse) šis mokymosi atminties metodas pagerino tikslumą ir patikimumą be modelio svorių atnaujinimo ar žmogaus anotacijų. Pilnas „lossless“ gairių rinkinys pakėlė GPT-4.1 agentą iki 67,5% Pass^4 balo mažmeninėje prekyboje — tai aukščiausias rezultatas 2026 m. spalio 12 d. lyderių lentelės momentinėje nuotraukoje, aplenkiant net modelį, specialiai perkvalifikuotą sintetiniais mažmeninės prekybos duomenimis. Technika taip pat pagerino pažangų GPT-5.5 agentą oro linijų užduotyse, pakėlusi jį į lyderių lentelės viršūnę.

Hugging Face