Primary sourcearXiv: DeepSeek
View sourceEvent ·Official first-hand
ISER-MoE 通过 NVLink 交换机复制热点专家，提升 MoE 推理吞吐
ISER-MoE 是一个构建在 TensorRT-LLM 中的系统，通过 NVLink 交换机将热点专家组播到固定 GPU 分组，让每个字节只从拥有者发送一次。GPU 调度器按层分配热点专家到分组，并用多端口广播把注入负载分散到分组端口。在 trace 重放中，调度器消除了 98-99% 的超额负载；在 DeepSeek-V4-Pro 的 prefill 服务中，数学基准吞吐提升 17.4%，agentic 提示吞吐提升 7.2%。
Current read
MoE 推理总被几个热点专家拖慢，这个方案直接借 NVLink 交换机做复制，DeepSeek-V4-Pro 实测数学任务吞吐涨了 17.4%。
2 sources41° AI heatLast updated 2026/11/6 05:40:40
Evidence
2 sourcesRelated source 1Thomas Wolf
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.