TraceQuery optymalizuje inferencję w dyfuzyjnych modelach językowych
Naukowcy opracowali TraceQuery, framework rzadkiego (sparse) dekodowania, który redukuje koszty obliczeniowe dyfuzyjnych dużych modeli językowych (dLLM). Poprzez analizę trajektorii odszumiania, metoda selektywnie przelicza tylko niezbędne reprezentacje tokenów zamiast wykonywać zbędne operacje, zachowując wysoką dokładność przy mniejszym zapotrzebowaniu na moc obliczeniową.