Google parodo, kaip TPU pagreitinti vaizdo difuzijos dėmesio skaičiavimus 2,4 karto
Trumpai: Google inžinieriai aprašo, kaip jie įgyvendino retą (sparse) erdvinio-laikinio dėmesio (attention) skaičiavimą vaizdo difuzijos modeliams TPU v6e lustuose, paversdami teorinį Sparse VideoGen (SVG) metodo retumą realiu aparatinės įrangos pagreičiu. Per kelis branduolio optimizavimo etapus (plytelių specializaciją, dydžio derinimą ir kaukės suderinimą su plytelėmis) jie sumažino dėmesio skaičiavimo laiką nuo 96,37 ms (naivus retas variantas) iki 32,76 ms – tai 2,40 karto greičiau nei tankus Splash Attention viename TPU v6e luste, naudojant 75,6 tūkst. token, 10 galvų ir 128 galvos dimensiją.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „Google Developers“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Naivus retas dėmesio skaičiavimas (B1) buvo net 22% lėtesnis už tankų variantą dėl nereikalingo kaukės taikymo plytelių viduje
- 2Pilnų/ribinių plytelių specializacija (B2) sumažino laiką nuo 96,37 ms iki 54,12 ms (31% greičiau nei tankus variantas)
- 3Plytelių dydžio derinimas parodė, kad mažiausiai kaukavimo reikalaujanti konfigūracija nebuvo greičiausia
- 4Galutinis suderintų plytelių variantas (B3) sumažino laiką iki 32,76 ms – 2,40 karto greičiau nei tankus Splash Attention
- 5Token'ų permutacija iš kadrų tvarkos į laikinę tvarką pagerino laikinių galvų dėmesio veikimą (44,40 ms vs 74,14 ms be permutacijos)
Kodėl tai svarbu?
Greitesnis vaizdo generavimo skaičiavimas TPU luste svarbus kompanijoms, kuriančioms vaizdo difuzijos produktus, ir parodo, kad teorinis retumas reikalauja kruopštaus aparatinės įrangos pritaikymo, kad virstų realiu pagreičiu – pamoka, pritaikoma bet kokiam retam/dėmesio pagrįstam skaičiavimui.
Šaltiniai
- Google DevelopersOficialusPirminis šaltinisOriginalus straipsnis →„Accelerating Spatio-Temporal Attention for Video Diffusion on TPUs“2026-09-30 03:00
- Šaltinio publikavimo data
- 2026-09-30 03:00
- Mūsų sistema rado
- 2026-10-02 19:51
- Santrauka sugeneruota
- 2026-10-02 20:05
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas