Wykrywanie i naprawa cichych błędów danych w treningu modeli na dużą skalę
Amazon wprowadził framework do identyfikacji cichych uszkodzeń danych (SDC) w treningu rozproszonym, gdzie uszkodzony sprzęt zwraca błędne wyniki matematyczne bez generowania logów błędów. Poprzez integrację trzech własnych testów – weryfikacji gradientów, audytów powtarzania pętli i odcisków palców wag – z pętlami treningowymi PyTorch DDP, możesz wykrywać, izolować i wymieniać uszkodzone węzły.