PapersSelected6月4日 11:13

dMoE：带可学习块专家的动态MoE模型

AK@_akhaliq

Post

Why we picked it

dMoE 解决了传统 MoE 专家固定、效率低的问题，做模型压缩和高效推理的团队值得关注，可以尝试复现或集成到自己的工作中。

dMoE 是一种新型动态混合专家（Mixture of Experts）架构，通过引入可学习的块专家（Learnable Block Experts）来替代传统固定专家。

Body

该方法允许模型根据输入动态调整专家组合，提升效率和性能。实验表明，dMoE 在多个基准测试上优于标准 MoE 和密集模型，同时计算成本更低。

该工作由研究团队在 Twitter 上公开，引发了社区关注。

Original · AK

dMoE dLLMs with Learnable Block Experts

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Papers" desk. Key entities and technical topics under continuous tracking include dMoE, 混合专家模型, 动态架构, 高效推理.

Source attribution: curated from AK (@_akhaliq).

Keep reading

Recent stories with the same tag or section

浙江大学这个新基准专挑 VLM 的痛点测：场景变了，模型能不能推出空间关系怎么变。结果 21 个模型里最强的只拿到 58%，人类是 87%。做机器人、具身智能或视频方向的同学可以用它来量化自家模型到底差在哪。

Primary sourcePandaily@[email protected] (Pandaily)Source

arXiv上这篇论文解决了编码智能体记忆该存什么、什么时候用的问题。它把读写记忆的成本算进训练目标，在ChainSWE基准上让27B模型解决率从21.0%提到25.7%，还少走17%的步数。做智能体记忆或SWE agent的团队值得对比看看。

arXiv cs.AI@Peiwen Li et al. (9)Source

两帮人做 LLM 安全的可以看看这个：作者训练了两个开源模型，能从聊天里推断你的性别和年龄段，再用不可见字符藏进生成的文本里。你把 AI 写的邮件发出去，隐私就跟着泄露了。做内容安全和隐私合规的人应该认真评估这类风险。

arXiv cs.AI@Gautam Galada et al. (3)Source

这个基准把地理环境做成了会随时间变化的平台，智能体得主动查信息、验证旧结论还失效没失效。目前没有哪个前沿模型能全面搞定，做 Agent 评测和地理信息应用的开发者可以拿来测自己的方案。

arXiv cs.AI@Pengcheng Zhou et al. (9)Source

这篇论文很实在：跑 AHD 时贵模型不一定赢，用 bandit 动态挑模型，成本最多省 65.6% 还能超过单模型。做组合优化、进化搜索或者想省钱跑 LLM ensemble 的开发者都该看看。

arXiv cs.AI@Samidha Verma et al. (3)Source

评估 LLM 时你可能一直测错了东西：这篇论文证明离线跑基准和线上 A/B 测的根本不是同一个指标，用户适应后模型排名都可能反转。做模型评估、部署选型或实验设计的工程师和研究者应该看看它给出的判断条件。

arXiv cs.AI@Hannah LiSource