Przejdź do treści
czwartek, 19 listopada 2026
Tenesys AI News
Subskrypcja

Wszystkie wiadomości

TENESYS AI NEWS śledzi najważniejsze wiadomości o AI i wyjaśnia, co się zmieniło, dlaczego to ważne i czy technologię warto przetestować.

#Privacy — 2 artykuły ✕

Badania· 🧪 Warte przetestowania

Nowa metoda FPD poprawia usuwanie prywatnych danych w modelach multimodalnych

Naukowcy zaproponowali metodę FFN-Perturbed Self-Distillation (FPD), aby rozwiązać problem usuwania wrażliwych informacji z multimodalnych dużych modeli językowych (MLLM). Podejście to minimalizuje utratę użyteczności modelu poprzez wykorzystanie oryginalnego rozkładu wyjściowego modelu nauczyciela jako punktu odniesienia przy jednoczesnym perturbowaniu specyficznych aktywacji FFN związanych z danymi prywatnymi.

arXiv cs.CL
Badania· Ważne· 🧪 Warte przetestowania

Przycinanie zbędnych głowic atencji ogranicza zapamiętywanie danych w LLM

Najnowsze badania pokazują, że wiele głowic atencji w dużych modelach językowych jest zbędnych i bezpośrednio przyczynia się do dosłownego powielania danych treningowych. Dzięki selektywnemu wyłączaniu tych głowic podczas wnioskowania, naukowcy osiągnęli 91,5% redukcję incydentów zapamiętywania przy jednoczesnej poprawie wydajności w standardowych testach porównawczych.

arXiv cs.CL