Chinese contentISER-MoE 通过 NVLink 交换机复制热点专家，提升 MoE 推理吞吐
MoE 推理总被几个热点专家拖慢，这个方案直接借 NVLink 交换机做复制，DeepSeek-V4-Pro 实测数学任务吞吐涨了 17.4%。
#ISER-MoE
1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "ISER-MoE", newest first.
Nov 9
MoE 推理总被几个热点专家拖慢，这个方案直接借 NVLink 交换机做复制，DeepSeek-V4-Pro 实测数学任务吞吐涨了 17.4%。