AWS pristatė SGLang palaikymą Trainium lustams
Amazon išleido SGLang-Neuron – įskiepį, leidžiantį kūrėjams vykdyti didelio masto DI modelius naudojant AWS Trainium aparatinę įrangą per standartinę SGLang sąsają. Ši integracija palaiko natūralų PyTorch vykdymą ir pažangias funkcijas, tokias kaip PD disaggregation naudojant EFA, siekiant optimizuoti modelių aptarnavimą.