Chinese contentvExpert：面向分布式 MoE 推理的虚拟化专家存储方案
分布式跑 MoE 模型经常被负载不均拖慢，这篇用虚拟化专家存储的思路，在 8 卡 H100 集群跑 DeepSeek-V3.1 提速 1.2 倍，做推理系统的可以看看。
#vExpert
1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "vExpert", newest first.
Nov 5
分布式跑 MoE 模型经常被负载不均拖慢，这篇用虚拟化专家存储的思路，在 8 卡 H100 集群跑 DeepSeek-V3.1 提速 1.2 倍，做推理系统的可以看看。