Event ·Multi-source

GC-MoE 用 CUDA Green Contexts 加速 MoE 推理,DeepSeek 与 GLM 解码提速超 10%

GC-MoE 是一个开源 FP8/FP4 MoE 推理算子,支持 NVIDIA Hopper 和 Blackwell GPU,利用 CUDA Green Contexts 把设备拆成通信与计算两个独立分区。在 8 张 H20 上,DeepSeek-V4.1-Flash 解码平均加速 1.188 倍,峰值达 1.353 倍。在 8 张 B300 上,GLM-5.2 和 DeepSeek-V4.1-Flash 平均加速 1.106 倍,在全部 54 个测量点上超过 DeepGEMM 的 Mega MoE。通信分区在 B300 上仅占用 148 个 SM 中的 20 个。

Current read

给搞 MoE 推理优化的人看的新算子,8 卡 H20 上跑 DeepSeek 解码快了近 20%,还开源了,可以直接对比 Mega MoE 试一下。

11 sources52° AI heatLast updated 2026/11/3 03:04:04

Evidence

11 sources
Related source 1LlamaIndex
View source
Related source 2marktechpost
View source
Related source 4Artificial Analysis
View source
Related source 5Fireworks AI
View source
Related source 7kimmonismus
View source
Related source 8rohanpaul_ai
View source
Related source 9Gorden Sun
View source
Related source 10shao__meng
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.

GC-MoE Operator Accelerates MoE Inference with CUDA Green Contexts · 事件专题 | AITOP