Naujas tyrimas rodo, kad dabartiniai LLM vertinimo rodikliai neatspindi tikrojo kontekstinio samprotavimo
Didelio masto analizė atskleidė, kad nors architektūriniai papildymai, tokie kaip „Canon“ sluoksniai, gali padidinti efektyvumą 30 %, net pažangiausi modeliai nesusidoroja su elementariomis dviejų žingsnių samprotavimo užduotimis. Tyrimas rodo, kad standartiniai rodikliai slepia esminius informacijos paieškos ir loginės dedukcijos trūkumus.