ZEDA 相关 AI 资讯 · AI 热点

5月25日

12:05

12:05

AI Will@FinanceYF5

精选

ZEDA是一种针对混合专家模型（MoE）的后训练方法，通过自蒸馏技术让模型学会在推理时跳过半数专家，从而大幅降低计算成本。与传统的剪枝不同，ZEDA赋予模型“算力预算意识”，使其能根据每个token的重要性动态决定是否投入计算资源。该方法在保持性能的同时显著提升效率，为大规模MoE模型的部署提供了新思路。论文已发布在arXiv上。

论文 MoE/混合专家模型压缩/加速自蒸馏算力优化 ZEDA

推荐理由：做MoE模型部署或推理优化的团队，ZEDA直接解决了算力浪费问题——跳过一半专家还能保持效果，值得一试。

12:04

12:04

AI Will@FinanceYF5

精选72°

最新研究发现，MoE（混合专家）大模型中大量 token 实际上不需要专家处理，导致约一半的专家计算被浪费。论文提出的 ZEDA 方法让模型学会“该省就省”，最高可跳过约 50% 的专家计算，显著提升推理效率。这一发现对降低大模型部署成本、加速推理有重要意义，尤其适合资源受限场景。

论文 MoE 专家计算推理优化 ZEDA 大模型效率

推荐理由：做 MoE 模型推理优化的开发者终于有了新思路——ZEDA 直接砍掉一半专家计算，省成本又提速，值得在自家模型上试试。