Google parodo, kaip TPU pagreitinti vaizdo difuzijos dėmesio skaičiavimus 2,4 karto
Google inžinieriai aprašo, kaip jie įgyvendino retą (sparse) erdvinio-laikinio dėmesio (attention) skaičiavimą vaizdo difuzijos modeliams TPU v6e lustuose, paversdami teorinį Sparse VideoGen (SVG) metodo retumą realiu aparatinės įrangos pagreičiu. Per kelis branduolio optimizavimo etapus (plytelių specializaciją, dydžio derinimą ir kaukės suderinimą su plytelėmis) jie sumažino dėmesio skaičiavimo laiką nuo 96,37 ms (naivus retas variantas) iki 32,76 ms – tai 2,40 karto greičiau nei tankus Splash Attention viename TPU v6e luste, naudojant 75,6 tūkst. token, 10 galvų ir 128 galvos dimensiją.