Amazon pristatė TorchNeuron – atvirojo kodo jungtį tarp PyTorch ir AWS Trainium lustų
Trumpai: Amazon išleido TorchNeuron – atvirojo kodo programinę sąsają, leidžiančią esamą PyTorch kodą vykdyti AWS Trainium greitintuvuose be didelių pakeitimų. Naujovė pristato papildomą vykdymo režimą bei kelių lygių talpyklą, mažinančią pakartotinį kompiliavimą, o jos patikimumas buvo patikrintas naudojant AI agentus, kurie iš šimtų tūkstančių Hugging Face modelių atrinko reprezentatyvų testavimo rinkinį. Vidiniai dideliu modeliu atlikti testai parodė, kad laikas iki pirmojo mokymo žingsnio sutrumpėjo maždaug trečdaliu.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „Amazon Science“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1TorchNeuron leidžia kitiems greitintuvams skirtą PyTorch kodą vykdyti Trainium su minimaliais arba jokiais pakeitimais
- 2Naujas „adaptive eager“ režimas kompiliuoja mažus pografius vykdymo metu, derindamas eager režimo greitą atsaką su beveik kompiliuoto kodo našumu
- 3Sukompiliuotas kodas (NEFF) talpinamas atmintyje ir diske, kad tos pačios operacijos nebūtų kompiliuojamos pakartotinai
- 4Bendra kompiliavimo tarnyba leidžia dideliems diegimams – EC2 UltraServer su iki 144 Trainium lustų – dalytis sukompiliuotu kodu vietoj atskiro kompiliavimo kiekviename luste
- 5AI agentai peržiūrėjo šimtus tūkstančių Hugging Face modelių ir sudarė 841 modelio reprezentatyvų testavimo rinkinį bei dešimčių tūkstančių tenzorių formų registrą greitam regresijos testavimui
- 6Didelio modelio testai, paskirstyti po daug greitintuvų, parodė maždaug trečdaliu sutrumpėjusį laiką iki pirmojo mokymo žingsnio
Kodėl tai svarbu?
Komandoms, mokančioms didelius modelius AWS infrastruktūroje, tai sumažina PyTorch kodo pritaikymo Trainium lustams darbo apimtį ir pagreitina iteracijas, nes sumažina tiek kompiliavimo delsas, tiek pasiruošimo laiką prieš mokymą.
Ką tai reiškia AI agentams ir kontaktų centrams?
Tai visų pirma AWS Trainium mokymo infrastruktūros įrankis, tiesiogiai nesusijęs su balso AI, telefonija ar kontaktų centrų darbo eigomis,ebent dideli modeliai būtų mokomi savarankiškai AWS Trainium aparatinėje įrangoje.
Šaltiniai
- Amazon ScienceOficialusPirminis šaltinisOriginalus straipsnis →„The science behind TorchNeuron, Amazon’s new PyTorch backend for AWS Trainium chips“2026-10-22 22:36
- Šaltinio publikavimo data
- 2026-10-22 22:36
- Mūsų sistema rado
- 2026-10-22 23:01
- Santrauka sugeneruota
- 2026-10-22 23:02
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas