NVIDIA parodė, kaip padaryti didelio masto modelių pretreniravimą bitiniu lygmeniu determinuotą pigiai
NVIDIA aprašė Megatron Core darbo eigą, kuri leidžia didelio masto modelių pretreniravimui būti bitiniu lygmeniu determinuotam – tai reiškia, kad nepriklausomi arba iš kontrolinio taško atnaujinti treniravimo paleidimai vyksta lygiai tuo pačiu skaitiniu keliu. Naudojant tenzorių fingerprinting metodą per treniravimo fazes, modulius, operacijas ir branduolius (kernels), inžinieriai gali atsekti nedeterminizmą iki konkretaus branduolio ir jį ištaisyti. Trilijono parametrų Nemotron modeliui, veikiančiam su 2 432 GPU, optimizacijos sumažino determinizmo kainą iki apie 2 %, išlaikant bitiniu lygmeniu identiškus rezultatus per 800 treniravimo žingsnių.