Badania· 🧪 Warte przetestowania
Optymalizacja edycji wiedzy w LLM poprzez rzadką regularyzację celów
Badacze wykazali, że wstępne tworzenie docelowych stanów ukrytych znacząco wpływa na jakość aktualizacji wiedzy w LLM. Dzięki zastosowaniu metody regularyzacji L1 do przycinania zbędnych komponentów wektorów wiedzy, podejście to redukuje interferencję podczas edycji parametrów, umożliwiając bardziej precyzyjne wprowadzanie wiedzy.