NVIDIA i AI4Bharat udostępniają zbiór danych do pretreningu w językach indyjskich o rozmiarze 2,8 biliona tokenów oraz otwarty pipeline generowania danych
W skrócie: NVIDIA we współpracy z laboratorium AI4Bharat z IIT Madras udostępnia Nemotron-pretraining-Indic-v1 – syntetyczny zbiór danych do pretreningu liczący około 2,8 biliona tokenów, obejmujący 22 języki indyjskie, wraz z otwartym pipeline'em przyspieszanym przez GPU, który posłużył do jego utworzenia. Zbiór zawiera dane w oryginalnym piśmie dla wszystkich 22 języków oraz tekst zromanizowany dla dwunastu z nich, stworzone przez tłumaczenie wyselekcjonowanych materiałów anglojęzycznych (tekst webowy, matematyka, kod, pytania-odpowiedzi) z użyciem NeMo Data Designer i weryfikowane za pomocą rubryki inspirowanej MQM. NVIDIA wykorzystała już podzbiór 10 miliardów tokenów indyjskich do kontynuowanego pretreningu Nemotron 3.5 Super VL, co przyniosło mierzalne poprawy w benchmarkach indyjskich.
To podsumowanie zostało automatycznie przygotowane przez sztuczną inteligencję na podstawie publikacji „Hugging Face”. To nasz tekst, nie kopia oryginału — fakty, liczby i cytaty należą do źródła, do którego link znajduje się powyżej i poniżej.
Co się zmieniło?
- 1Nowy zbiór danych: Nemotron-pretraining-Indic-v1, ~2,8 biliona tokenów w 22 językach indyjskich
- 22601,0 mld tokenów w oryginalnym piśmie i 224,6 mld tokenów zromanizowanych (tokenizator Gemma-4)
- 3Dane zromanizowane dostępne dla 12 z 22 języków, oryginalne pismo dla wszystkich 22
- 4Pipeline wykorzystuje Gemma-4-31B-it do tłumaczenia i oceny jakości, zachowując tylko wyniki ocenione na 75/100 lub wyżej według rubryki w stylu MQM
- 5438,4 mld tokenów odzyskano dzięki etapowi naprawy i ponownej oceny dla nisko ocenionych tłumaczeń
- 6Kontynuowany pretrening Nemotron 3.5 Super VL z 10 mld tokenów indyjskich poprawił wyniki we wszystkich pięciu zgłoszonych benchmarkach indyjskich o 4,98-9,82 punktu procentowego
Dlaczego to ważne?
Daje to twórcom modeli językowych i narzędzi NLP dla języków indyjskich znacznie większy, możliwy do audytu zasób treningowy oraz powtarzalny przepis na generowanie danych syntetycznych dla języków o niskich zasobach, co ma znaczenie wykraczające poza Indie dla każdego zespołu pracującego z niedoreprezentowanymi językami.
Co to oznacza dla agentów AI i contact center?
To wydanie nie wpływa bezpośrednio na wdrożenia głosowej AI dla języka litewskiego ani na automatyzację contact center, ponieważ dotyczy korpusów do pretreningu tekstowego dla języków indyjskich, a nie modeli mowy czy API. Jednak otwarty pipeline generowania danych (tłumaczenie, ocena jakości, naprawa) może być przydatną metodologią referencyjną przy ewentualnym budowaniu lub ulepszaniu syntetycznych danych treningowych dla mniejszych języków, takich jak litewski, w przyszłych pracach nad dostrajaniem LLM lub STT.
Źródła
- Hugging FaceOficjalneŹródło pierwotneOryginalny artykuł →„Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline“16 paź 2026, 04:44
- Data publikacji źródła
- 16 paź 2026, 04:44
- Znalezione przez nasz system
- 16 paź 2026, 05:11
- Podsumowanie wygenerowano
- 16 paź 2026, 05:12
Artykuł napisała AI na podstawie oryginalnego źródła. Fakty, liczby i ceny pochodzą ze źródła; brakujące wartości oznaczono „Brak oficjalnych danych”. Informacje prawne, prawa autorskie i prywatność