Optymalizacja wnioskowania modeli MoE poprzez strumieniowanie ekspertów
Hugging Face wprowadziło strumieniowanie ekspertów dla modeli typu Mixture-of-Experts (MoE) w bibliotece Transformers. Technika ta umożliwia uruchamianie modeli o ogromnych rozmiarach, które zazwyczaj przekraczałyby standardowe limity pamięci sprzętowej, dzięki strumieniowaniu aktywnych ekspertów w czasie rzeczywistym.