Primary sourcearXiv cs.AI
View sourceEvent ·Multi-source
GC-MoE 用 CUDA Green Contexts 加速 MoE 推理,DeepSeek 与 GLM 解码提速超 10%
GC-MoE 是一个开源 FP8/FP4 MoE 推理算子,支持 NVIDIA Hopper 和 Blackwell GPU,利用 CUDA Green Contexts 把设备拆成通信与计算两个独立分区。在 8 张 H20 上,DeepSeek-V4.1-Flash 解码平均加速 1.188 倍,峰值达 1.353 倍。在 8 张 B300 上,GLM-5.2 和 DeepSeek-V4.1-Flash 平均加速 1.106 倍,在全部 54 个测量点上超过 DeepGEMM 的 Mega MoE。通信分区在 B300 上仅占用 148 个 SM 中的 20 个。
Current read
给搞 MoE 推理优化的人看的新算子,8 卡 H20 上跑 DeepSeek 解码快了近 20%,还开源了,可以直接对比 Mega MoE 试一下。
11 sources52° AI heatLast updated 2026/11/3 03:04:04
Evidence
11 sourcesRelated source 1LlamaIndex
View sourceRelated source 2marktechpost
View sourceRelated source 3vLLM
View sourceRelated source 4Artificial Analysis
View sourceRelated source 5Fireworks AI
View sourceRelated source 6PyTorch
View sourceRelated source 7kimmonismus
View sourceRelated source 8rohanpaul_ai
View sourceRelated source 9Gorden Sun
View sourceRelated source 10shao__meng
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.