„Amazon SageMaker“ dabar palaiko „Multi-Instance GPU“ valdomiems galiniams taškams
Trumpai: „Amazon SageMaker Inference“ pristatė NVIDIA „Multi-Instance GPU“ (MIG) palaikymą, leidžiantį padalyti vieną fizinį GPU į kelis nepriklausomus vienetus. Šis aparatinis padalijimas suteikia kiekvienai particijai skirtą skaičiavimo galią ir atmintį, užtikrinant nuspėjamą delsą ir griežtą izoliaciją tarp modelių, esančių tame pačiame akceleratoriuje.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „AWS Machine Learning“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Pridėtas GPU skaidymo palaikymas naudojant NVIDIA MIG „SageMaker Inference“.
- 2Naujas „AcceleratorPartitionLayouts“ parametras „CreateEndpointConfig“ API.
- 3Naujas „AcceleratorPartitionType“ parametras inferencijos komponentų specifikacijose.
- 4Aparatinio lygio atminties ir skaičiavimų izoliacija kelių modelių galiniuose taškuose.
Kodėl tai svarbu?
Dabar jūsų įmonė gali talpinti kelis smulkius ar pritaikytus modelius viename GPU be pavojaus, kad vieno modelio srauto šuoliai paveiks kitus. Tai pagerina aparatūros išnaudojimą įvairiems modelių portfeliams ir supaprastina daugiabučių (multi-tenant) sistemų diegimą užtikrinant patikimas veikimo ribas.
Ką tai reiškia AI agentams ir kontaktų centrams?
Jūsų diegimams tai pašalina būtinybę prižiūrėti pritaikytą „Kubernetes“ aplinką MIG naudojimui. Dabar galite ekonomiškai talpinti įvairius specializuotus modelius (įterpimo, klasifikavimo, perrinkimo) tame pačiame egzemplioriuje. Testavimo metu stebėkite delsos pokyčius ir KV talpyklos atminties poreikius, kad pasirinktumėte tinkamą particijos profilį, nes atmintis dažnai yra pirmas „butelio kakliukas“.
🧪 Verta testuoti
Testavimas rekomenduojamas siekiant optimizuoti infrastruktūros sąnaudas, tinkamai paskirstant GPU išteklius konkretiems modeliams, atsisakant „vienas GPU vienam modeliui“ apribojimo.
Šaltiniai
- AWS Machine LearningOficialusPirminis šaltinisOriginalus straipsnis →„SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints“2026-11-06 20:01
- Šaltinio publikavimo data
- 2026-11-06 20:01
- Mūsų sistema rado
- 2026-11-06 20:15
- Santrauka sugeneruota
- 2026-11-06 20:15
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas