ZEDA:让MoE模型具备算力预算意识,跳过半数专家
做MoE模型部署或推理优化的团队,ZEDA直接解决了算力浪费问题——跳过一半专家还能保持效果,值得一试。
ZEDA是一种针对混合专家模型(MoE)的后训练方法,通过自蒸馏技术让模型学会在推理时跳过半数专家,从而大幅降低计算成本。
与传统的剪枝不同,ZEDA赋予模型“算力预算意识”,使其能根据每个token的重要性动态决定是否投入计算资源。该方法在保持性能的同时显著提升效率,为大规模MoE模型的部署提供了新思路。
论文已发布在arXiv上。
7/ 🧩这不是剪枝 ZEDA 更像让 MoE 有了“算力预算意识”。 未来模型不只决定回答什么,还会决定每个 token 值不值得认真思考。 Paper: Post-Trained MoE Can Skip Half Experts via Self-Distillation arxiv.org/abs/2605.18643 o📊 1 ⚡
This report is categorized under AITOP's "Papers" desk. Key entities and technical topics under continuous tracking include MoE/混合专家, 模型压缩/加速, 自蒸馏, 算力优化.
Source attribution: curated from AI Will (@FinanceYF5).