„Apple“ parodė, kaip trilijono parametrų klasės LLM veikia lokaliai per Mac Studio klasterius su MLX
Trumpai: „Apple“ MLX komanda paskelbė našumo testus, rodančius, kad dideli atvirojo svorio modeliai – įskaitant beveik trilijono parametrų MoE modelį „Muse Spark Open“ – veikia Mac Studio aparatinėje įrangoje, tiek vienu įrenginiu, tiek paskirstytai iki keturių Mac Studio per naują RDMA-over-Thunderbolt tvarkyklę. Naujas M5 Ultra lustas su dedikuotais GPU „Neural Accelerators“ ir 1,2 TB/s atminties pralaidumu pasiekia iki 4,6 karto greitesnį pirmojo tokeno laiką ir 1,6 karto greitesnį generavimo greitį lyginant su ankstesniu M3 Ultra. Modeliams, netelpantiems viename įrenginyje, MLX dabar palaiko pipeline ir tensor paralelizaciją keliuose „Mac“ per Thunderbolt RDMA, leidžiant keturių Mac Studio klasteriui generuoti daugiau nei 36 tokenus per sekundę 816 mlrd. parametrų modeliui.
Šią santrauką automatiškai parengė dirbtinis intelektas pagal „Apple Machine Learning“ publikaciją. Tai mūsų tekstas, ne originalo kopija — faktai, skaičiai ir citatos priklauso šaltiniui, kurio nuoroda pateikta viršuje ir apačioje.
Kas pasikeitė?
- 1Išleista nauja MLX versija su jaccl – RDMA-over-Thunderbolt komunikacijos kolektyvais paskirstytam inferencui
- 2M5 Ultra Mac Studio pasiekia iki 4,6 karto greitesnį pirmojo tokeno laiką ir 1,6 karto greitesnį dekodavimo greitį nei M3 Ultra
- 3Pipeline paralelizacija skaido modelį pagal gylį tarp dviejų „Mac“ įrenginių; tensor paralelizacija skaido pagal plotį tarp dviejų ar keturių
- 4816 mlrd. parametrų MoE modelis (42 mlrd. aktyvių, NVFP4 kvantuotas iki ~493GB) veikia per keturis Mac Studio generuodamas daugiau nei 36 tokenus/s
- 5Dviejų kabelių Thunderbolt tinklas sutrumpina pirmojo tokeno laiką didžiausiam modeliui nuo ~50,5s iki ~40,6s esant 65 536 tokenų kontekstui
- 6Mac Studio didžiausias energijos suvartojimas per inferencą – apie 200W (M3 Ultra) iki 300W (M5 Ultra)
Kodėl tai svarbu?
Tai parodo, kad labai dideli, aukščiausios klasės atvirojo svorio modeliai dabar gali veikti privačiai ant vartotojiškos darbalaukio įrangos vietoj debesijos GPU klasterių, kas svarbu komandoms, norinčioms lokalaus, autonominio ar mažai energijos naudojančio LLM diegimo su dideliais kontekstais (naudinga agentiniam darbui).
Ką tai reiškia AI agentams ir kontaktų centrams?
Tai labiausiai aktualu komandoms, nagrinėjančioms savarankiškai talpinamą ar privatų LLM inferencą, o ne debesijos API; balso AI ir kontaktų centro kanalų kontekste praktinė žinia yra ta, kad lokalūs Mac Studio klasteriai iš principo galėtų talpinti didelius samprotavimo ar agentų orkestravimo modelius su dideliais kontekstais, tačiau realaus laiko balso latencija, STT/TTS integracija ir lietuvių kalbos palaikymas šiame tyrime nenagrinėjami.
Šaltiniai
- Apple Machine LearningOficialusPirminis šaltinisOriginalus straipsnis →„Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio“2026-10-15 03:00
- Šaltinio publikavimo data
- 2026-10-15 03:00
- Mūsų sistema rado
- 2026-10-15 20:11
- Santrauka sugeneruota
- 2026-10-15 20:12
Straipsnį pagal originalų šaltinį parašė AI. Faktai, skaičiai ir kainos — iš šaltinio; trūkstamos reikšmės pažymėtos „Nėra oficialių duomenų“. Teisinė informacija, autorių teisės ir privatumas