Allen Institute wprowadza benchmark FairStress do wykrywania ukrytych uprzedzeń w decyzjach LLM
Allen Institute for AI (Ai2) opublikował FairStress – benchmark badający sprawiedliwość demograficzną modeli LLM nie tylko na podstawie końcowej decyzji, ale też tego, jak łatwo decyzja zmienia się pod wpływem perswazji. Testy modeli open-weight i flagowych, w tym Olmo, Llama, Qwen, Gemma, Claude i rodziny GPT, pokazały, że modele częściej rezygnują z poprawnej, dobrze uzasadnionej decyzji, gdy sprzyja to kandydatowi kodowanemu jako mniejszość – zjawisko nazwane „anty-stereotypową nadkorektą”. Benchmark obejmuje 300 scenariuszy w 29 dziedzinach (rekrutacja, kredyty, opieka zdrowotna, edukacja, mieszkalnictwo, wymiar sprawiedliwości), rozszerzonych do ponad 13 mln przypadków testowych, a także mniejszy podzbiór FairStress-Core liczący 50 tys. elementów do szybszej oceny.