Naujas tyrimas rodo, kad dabartiniai LLM vertinimo rodikliai neatspindi tikrojo kontekstinio samprotavimo
Trumpai: Didelio masto analizė atskleidė, kad nors architektūriniai papildymai, tokie kaip „Canon“ sluoksniai, gali padidinti efektyvumą 30 %, net pažangiausi modeliai nesusidoroja su elementariomis dviejų žingsnių samprotavimo užduotimis. Tyrimas rodo, kad standartiniai rodikliai slepia esminius informacijos paieškos ir loginės dedukcijos trūkumus.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „arXiv cs.CL“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1„Canon“ sluoksniai identifikuoti kaip 30 % efektyvesnė „Transformer“ žetonų maišymo alternatyva.
- 2Pristatyti GLA5 ir GDN2 modeliai kaip našesnės alternatyvos „Mamba2“.
- 3Įrodyta, kad standartiniai vertinimo rodikliai nekoreliuoja su patikima paieška kontekste.
Kodėl tai svarbu?
Kuriantiems dirbtinio intelekto agentus, tyrimas patvirtina, kad aukšti vertinimo rezultatai yra apgaulingi; negalima pasikliauti modeliais atliekant dviejų žingsnių samprotavimą ar informacijos paiešką, nebent šie pavyzdžiai įtraukiami į mokymosi duomenis nuo pat pradžių.
Ką tai reiškia AI agentams ir kontaktų centrams?
Kuriant balso agentus, nepasikliaukite viešais vertinimais prognozuodami užduočių sėkmę. Testavimą sutelkite į nedideles sintetines aplinkas, kad įvertintumėte paiešką ir samprotavimą, ir teikite pirmenybę modeliams, kuriuose samprotavimo duomenys įtraukti ankstyvoje stadijoje, o ne tik po mokymo.
🧪 Verta testuoti
Siekiant potencialiai 30 % sumažinti mokymosi žetonų poreikį ir pagerinti samprotavimo galimybes.
Šaltiniai
- arXiv cs.CLOficialusPirminis šaltinisOriginalus straipsnis →„Physics of Language Models: Part 4.2, Canon Layers at Scale where Synthetic Pretraining Resonates in Reality“2026-11-20 07:00Licencija: arXiv metadata CC0; papers under their own licences · mūsų santrauka (turinys pakeistas)
- Šaltinio publikavimo data
- 2026-11-20 07:00
- Mūsų sistema rado
- 2026-11-20 07:04
- Santrauka sugeneruota
- 2026-11-21 19:39
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas