Cohere 论文：speculative decoding 在细粒度 MoE 模型上收益远超预期

Cohere 的新论文发现，speculative decoding 在细粒度 MoE 模型上即使 batch size 为 1 也有可观收益，此前研究认为此时收益很小。团队测试了 10 个 30B 到 1T 参数的 MoE 模型，并在 H100 GPU 上进行 profile，发现相邻 token 实际共享 20% 到 45% 的专家，远高于独立路由假设下的 4% 到 12%。以 FP8 的 Qwen3-235B 为例，验证步骤的运行速度达到普通解码步骤的 89%，而预测值只有 52%。这意味着 agent 等低 batch 推理场景中，MoE 服务的 speculative decoding 值得实测而非直接排除。