Amazon wprowadza Global Inference Gateway do równoważenia obciążenia LLM między regionami
Firma Amazon wprowadziła Global Inference Gateway dla SageMaker HyperPod, umożliwiając użycie jednego punktu końcowego do routingu zapytań między wieloma klastrami i regionami AWS. Brama zarządza ruchem w oparciu o sygnały o stanie klastra w czasie rzeczywistym, takie jak wykorzystanie pamięci podręcznej KV i głębokość kolejki, automatyzując przełączanie awaryjne między regionami.