Nereikalingų „attention“ galvų šalinimas sumažina LLM atkartojamumą
Naujausi tyrimai rodo, kad daugelis didžiųjų kalbos modelių (LLM) „attention“ galvų yra perteklinės ir tiesiogiai prisideda prie pažodinio mokymo duomenų atkartojimo. Selektyviai išjungus šias galvas inferencijos metu, tyrėjai pasiekė 91,5 % atkartojimo sumažėjimą ir tuo pačiu pagerino modelio našumą standartiniuose testuose.