Tyliųjų duomenų sugadinimų aptikimas ir šalinimas didelio masto GPU mokymo procesuose
Amazon pristatė sistemą, skirtą aptikti tyliuosius duomenų sugadinimus (SDC) paskirstyto mokymo metu, kai sugedusi įranga pateikia klaidingus skaičiavimus be jokių įspėjamųjų žurnalų. Integravę tris pasirinktines patikras – gradientų baigtinumo, žiedinio atkūrimo ir svorių atspaudų – į savo PyTorch DDP mokymo ciklus, galite identifikuoti, izoliuoti ir pakeisti neveikiančius mazgus.