Pereiti prie turinio
2026 m. lapkričio 22 d., sekmadienis
Tenesys AI News
Prenumerata
Tyrimai· Svarbu· 🧪 Verta testuoti

Naujas tyrimas rodo, kad dabartiniai LLM vertinimo rodikliai neatspindi tikrojo kontekstinio samprotavimo

Trumpai: Didelio masto analizė atskleidė, kad nors architektūriniai papildymai, tokie kaip „Canon“ sluoksniai, gali padidinti efektyvumą 30 %, net pažangiausi modeliai nesusidoroja su elementariomis dviejų žingsnių samprotavimo užduotimis. Tyrimas rodo, kad standartiniai rodikliai slepia esminius informacijos paieškos ir loginės dedukcijos trūkumus.

Šaltinis: arXiv cs.CLN/AN/AOriginalus straipsnis ↗

Šią santrauką automatiškai parengė dirbtinis intelektas pagal „arXiv cs.CL“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.

Kas pasikeitė?

  • 1„Canon“ sluoksniai identifikuoti kaip 30 % efektyvesnė „Transformer“ žetonų maišymo alternatyva.
  • 2Pristatyti GLA5 ir GDN2 modeliai kaip našesnės alternatyvos „Mamba2“.
  • 3Įrodyta, kad standartiniai vertinimo rodikliai nekoreliuoja su patikima paieška kontekste.

Kodėl tai svarbu?

Kuriantiems dirbtinio intelekto agentus, tyrimas patvirtina, kad aukšti vertinimo rezultatai yra apgaulingi; negalima pasikliauti modeliais atliekant dviejų žingsnių samprotavimą ar informacijos paiešką, nebent šie pavyzdžiai įtraukiami į mokymosi duomenis nuo pat pradžių.

Ką tai reiškia AI agentams ir kontaktų centrams?

Kuriant balso agentus, nepasikliaukite viešais vertinimais prognozuodami užduočių sėkmę. Testavimą sutelkite į nedideles sintetines aplinkas, kad įvertintumėte paiešką ir samprotavimą, ir teikite pirmenybę modeliams, kuriuose samprotavimo duomenys įtraukti ankstyvoje stadijoje, o ne tik po mokymo.

🧪 Verta testuoti

Siekiant potencialiai 30 % sumažinti mokymosi žetonų poreikį ir pagerinti samprotavimo galimybes.

Canon Layers / GLA5 / GDN2· Nauja

Šaltiniai

  • arXiv cs.CLOficialusPirminis šaltinis
    „Physics of Language Models: Part 4.2, Canon Layers at Scale where Synthetic Pretraining Resonates in Reality“
    2026-11-20 07:00
    Licencija: arXiv metadata CC0; papers under their own licences · mūsų santrauka (turinys pakeistas)
    Originalus straipsnis →
Šaltinio publikavimo data
2026-11-20 07:00
Mūsų sistema rado
2026-11-20 07:04
Santrauka sugeneruota
2026-11-21 19:39

Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas