动态架构相关 AI 资讯 · AI 热点

6月4日

11:13

11:13

AK@_akhaliq

精选

dMoE 是一种新型动态混合专家（Mixture of Experts）架构，通过引入可学习的块专家（Learnable Block Experts）来替代传统固定专家。该方法允许模型根据输入动态调整专家组合，提升效率和性能。实验表明，dMoE 在多个基准测试上优于标准 MoE 和密集模型，同时计算成本更低。该工作由研究团队在 Twitter 上公开，引发了社区关注。

论文 dMoE 混合专家模型动态架构高效推理论文

推荐理由：dMoE 解决了传统 MoE 专家固定、效率低的问题，做模型压缩和高效推理的团队值得关注，可以尝试复现或集成到自己的工作中。