NVIDIA i AI4Bharat udostępniają zbiór danych do pretreningu w językach indyjskich o rozmiarze 2,8 biliona tokenów oraz otwarty pipeline generowania danych
NVIDIA we współpracy z laboratorium AI4Bharat z IIT Madras udostępnia Nemotron-pretraining-Indic-v1 – syntetyczny zbiór danych do pretreningu liczący około 2,8 biliona tokenów, obejmujący 22 języki indyjskie, wraz z otwartym pipeline'em przyspieszanym przez GPU, który posłużył do jego utworzenia. Zbiór zawiera dane w oryginalnym piśmie dla wszystkich 22 języków oraz tekst zromanizowany dla dwunastu z nich, stworzone przez tłumaczenie wyselekcjonowanych materiałów anglojęzycznych (tekst webowy, matematyka, kod, pytania-odpowiedzi) z użyciem NeMo Data Designer i weryfikowane za pomocą rubryki inspirowanej MQM. NVIDIA wykorzystała już podzbiór 10 miliardów tokenów indyjskich do kontynuowanego pretreningu Nemotron 3.5 Super VL, co przyniosło mierzalne poprawy w benchmarkach indyjskich.