PRKV: Efektyvesnis ilgo konteksto LLM išvadų vykdymas su nauju KV talpyklos valymo metodu
Pristatytas PRKV – naujas KV talpyklos (KV cache) išvalymo metodas, naudojantis „Personalized PageRank“ grafų algoritmus. Šis metodas įvertina bendrą žetonų svarbą ne tik pagal jų naujumą, bet ir pagal įtaką visam kontekstui, leidžiant pasiekti iki 90 % talpyklos suspaudimą be modelio perlaikymo.