09:46
官方一手arXiv: DeepSeek@Jincheng Xie, Runheng Liu, Heyan Huang, Yawen Ling, Hanbin Dai, Yu Zheng, Wen Hu
精选
推荐理由：这篇论文提出EcoSpec，在DeepSeek-V3.1等MoE模型上通过成本感知投机解码最高提速1.62倍，值得关注。
EcoSpec
共 1 条相关 AI 资讯
7月15日
09:46
稀疏混合专家（MoE）模型在扩展LLM时依赖专家激活模式，现有投机解码忽视专家激活成本，导致专家散射增加内存流量。EcoSpec通过轻量级专家预测器和动态专家缓冲区，在保持高接受率前提下优先复用了当前验证集的专家路径。在DeepSeek-V3.1（671B）、Qwen3-235B-A22B、GPT-OSS-120B三个大规模MoE模型上，于推理、编码、问答和对话基准测试中，EcoSpec持续减少活跃专家足迹，最高实现1.62倍解码速度提升。