Primary sourcearXiv: DeepSeek
View sourceEvent ·Official first-hand
vExpert:面向分布式 MoE 推理的虚拟化专家存储方案
论文提出 vExpert,将 DRAM 卸载范式从部分驻留改为全冗余的虚拟化专家存储。它建立了首个同时刻画 H2D 延迟、PCIe 争用与负载不均衡的性能模型,并配有轻量级分配器动态映射物理专家到虚拟槽位。针对多进程环境设计了分离式管理器来降低内存开销。在 8 节点 H100 集群上对 DeepSeek-V3.1 的评测中,负载均衡比提升最高 55%,端到端加速 1.2 倍。
Current read
分布式跑 MoE 模型经常被负载不均拖慢,这篇用虚拟化专家存储的思路,在 8 卡 H100 集群跑 DeepSeek-V3.1 提速 1.2 倍,做推理系统的可以看看。
3 sources38° AI heatLast updated 2026/11/4 07:02:52
Evidence
3 sourcesConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.