Badania· 🧪 Warte przetestowania
Nowa metoda FPD poprawia usuwanie prywatnych danych w modelach multimodalnych
Naukowcy zaproponowali metodę FFN-Perturbed Self-Distillation (FPD), aby rozwiązać problem usuwania wrażliwych informacji z multimodalnych dużych modeli językowych (MLLM). Podejście to minimalizuje utratę użyteczności modelu poprzez wykorzystanie oryginalnego rozkładu wyjściowego modelu nauczyciela jako punktu odniesienia przy jednoczesnym perturbowaniu specyficznych aktywacji FFN związanych z danymi prywatnymi.