PRKV: Wydajne wnioskowanie dla długiego kontekstu dzięki nowemu usuwaniu z pamięci podręcznej KV
Badacze zaprezentowali PRKV, innowacyjną metodę usuwania elementów z pamięci podręcznej KV, wykorzystującą algorytmy Personalized PageRank na grafach przejść. Technika ta szacuje globalne znaczenie tokenów, wykraczając poza proste kryterium świeżości, co pozwala na kompresję pamięci KV do 90% bez konieczności ponownego trenowania modeli.