NVIDIA ir AI4Bharat išleidžia 2,8 trilijono žetonų Indijos kalbų išankstinio apmokymo duomenų rinkinį ir atvirą duomenų generavimo konvejerį
Trumpai: NVIDIA kartu su IIT Madras AI4Bharat laboratorija išleidžia Nemotron-pretraining-Indic-v1 – apie 2,8 trilijono žetonų sintetinį išankstinio apmokymo duomenų rinkinį, apimantį 22 Indijos kalbas, kartu su atviru GPU pagreitintu konvejeriu, naudotu jam sukurti. Duomenų rinkinyje yra originalios rašybos duomenys visoms 22 kalboms ir romanizuoti tekstai dvylikai kalbų, sukurti verčiant atrinktą anglišką turinį (žiniatinklio tekstus, matematiką, kodą, klausimus-atsakymus) naudojant NeMo Data Designer ir tikrinant pagal MQM principu pagrįstą vertinimo sistemą. NVIDIA jau panaudojo 10 mlrd. žetonų Indijos kalbų poaibį tolesniam Nemotron 3.5 Super VL apmokymui, kuris parodė pastebimą pagerėjimą Indijos kalbų testuose.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „Hugging Face“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Naujas duomenų rinkinys: Nemotron-pretraining-Indic-v1, ~2,8 trilijono žetonų, 22 Indijos kalbos
- 22 601,0 mlrd. originalios rašybos žetonų ir 224,6 mlrd. romanizuotų žetonų (Gemma-4 žetonizatorius)
- 3Romanizuoti duomenys prieinami 12 iš 22 kalbų, originali rašyba – visoms 22
- 4Konvejeris naudoja Gemma-4-31B-it vertimui ir kokybės vertinimui, paliekant tik rezultatus, įvertintus 75/100 ar daugiau pagal MQM stiliaus sistemą
- 5438,4 mlrd. žetonų atgauta taikant taisymo ir pakartotinio vertinimo žingsnį žemai įvertintiems vertimams
- 6Nemotron 3.5 Super VL tolesnis apmokymas su 10 mlrd. Indijos kalbų žetonų pagerino visų penkių vertintų Indijos kalbų testų rezultatus 4,98–9,82 procentinio punkto
Kodėl tai svarbu?
Tai suteikia kalbos modelių ar NLP įrankių Indijos kalboms kūrėjams daug didesnį, patikrinamą apmokymo išteklių ir pakartotinai naudojamą receptą sintetiniams duomenims generuoti mažai ištirtoms kalboms, kas aktualu ne tik Indijai, bet ir bet kuriai komandai, dirbančiai su mažesnėmis kalbomis.
Ką tai reiškia AI agentams ir kontaktų centrams?
Šis leidimas tiesiogiai neveikia balso DI diegimo lietuvių kalbai ar kontaktų centrų automatizavimo, nes jis skirtas teksto išankstinio apmokymo duomenims Indijos kalboms, o ne kalbos modeliams ar API. Vis dėlto atviras duomenų generavimo konvejeris (vertimas, kokybės vertinimas, taisymas) gali būti naudinga metodologija, jei ateityje bus kuriami ar tobulinami sintetiniai apmokymo duomenys mažesnėms kalboms, tokioms kaip lietuvių, LLM ar STT tobulinimo darbuose.
Šaltiniai
- Hugging FaceOficialusPirminis šaltinisOriginalus straipsnis →„Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline“2026-10-16 04:44
- Šaltinio publikavimo data
- 2026-10-16 04:44
- Mūsų sistema rado
- 2026-10-16 05:11
- Santrauka sugeneruota
- 2026-10-16 05:12
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas