The Ultimate MoE Training Handbook 查看： https://t.co/9iDkhSw9lG
Hugging Face 把 MoE 训练的门道整理成了一份手册，从路由到专家分配都讲了，想自己训 MoE 模型的可以翻翻。
Hugging Face 在其官网 spaces 上线了一份 MoE（Mixture of Experts）训练手册。手册系统梳理了 MoE 模型的训练方法，涵盖架构设计、路由机制与专家分配等关键环节。内容面向想自己训练或微调 MoE 模型的开发者。
The Ultimate MoE Training Handbook 查看： https://t.co/9iDkhSw9lG
The Ultimate MoE Training Handbook 查看： huggingface.co/spaces/hugging… 💬 1 🔄 0 ❤️ 0 👀 323 📊 1 ⚡
Hugging Face 花了 80 万 GPU 小时做实验，把 MoE 训练的坑全写成一本书，还带可跑的代码。想自己训 MoE 的直接收藏。
Hugging Face 把 80 万 GPU 小时的 MoE 训练经验整理成 7 万字免费手册，还带 55 张交互图和可运行代码，做训练的可以收藏慢慢啃。
MoE 推理总被几个热点专家拖慢，这个方案直接借 NVLink 交换机做复制，DeepSeek-V4-Pro 实测数学任务吞吐涨了 17.4%。
Routing configuration — active parameters, top-k and shared-expert design — directly affects inference cost and throughput, yet specs are scattered across model cards and configs. This consolidation lets engineers pick models by routing efficiency rather than headline parameter counts. It also highlights how differently DeepSeek, Qwen and gpt-oss trade expert granularity against compute per token.
搞 MoE 的朋友可以看这篇，把 Mixtral 的 top-2 到 DeepSeek-V4 的哈希路由等 7 种做法放一起对比，还标了各自用在哪。
