„Amazon“ pristato „Global Inference Gateway“ LLM apkrovos paskirstymui tarp regionų
„Amazon“ pristatė „Global Inference Gateway“, skirtą „SageMaker HyperPod“, leidžiantį vienu galiniu tašku valdyti užklausų nukreipimą per kelis klasterius ir AWS regionus. Šis sprendimas automatiškai paskirsto srautą pagal realiojo laiko apkrovos rodiklius, tokius kaip KV kešas ir eilių gylis, bei užtikrina automatinį atsarginių kopijų perjungimą.