动态架构相关 AI 资讯 · AI 热点

7月21日

10:52

10:52

官方账号arXiv cs.AI@Rong Hu, Ling Chen

这篇论文提出CoDID（Coordinated Disentanglement with Iterative mode Discovery），一种用于解耦表示学习的新框架。CoDID通过动态架构自适应调整模式数量，并采用元优化的协调机制缓解迭代中的误差放大。实验在多个任务上取得最先进性能，验证了处理隐藏相关性的有效性。

论文 CoDID 解耦表示学习隐藏相关性

推荐理由：想了解解耦表示学习新进展？这篇CoDID方法专门处理隐藏相关性，动态调整模式数，性能还很强。

6月4日

11:13

11:13

AK@_akhaliq

精选

dMoE 是一种新型动态混合专家（Mixture of Experts）架构，通过引入可学习的块专家（Learnable Block Experts）来替代传统固定专家。该方法允许模型根据输入动态调整专家组合，提升效率和性能。实验表明，dMoE 在多个基准测试上优于标准 MoE 和密集模型，同时计算成本更低。该工作由研究团队在 Twitter 上公开，引发了社区关注。

论文 dMoE 混合专家模型动态架构

推荐理由：dMoE 解决了传统 MoE 专家固定、效率低的问题，做模型压缩和高效推理的团队值得关注，可以尝试复现或集成到自己的工作中。