AITOP
精选
过去 24 小时，从 837 条中筛出 50 条
全部模型产品行业论文技巧
标签：路由器设计×
6月11日
15:28
15:23
15:07
11:27
11:27arXiv cs.AI@Songhao Wu, Ang Lv, Ruobing Xie, Yankai Lin
精选
Mixture-of-Experts (MoE) 模型中的路由器负责决定激活哪些专家，但其设计缺乏理论指导。本文提出将每个路由器行与对应专家的主奇异方向对齐，因为该方向能最有效地描述矩阵。基于此，作者设计了 Manifold Power Iteration (MPI) 方法，采用“先幂迭代再收缩”的范式，使路由器行收敛到专家的主奇异方向。实验在 1B 到 11B 参数的 MoE 模型上验证，该方法显著提升了模型效果。
论文MoE路由器设计主奇异方向Manifold Power Iteration模型优化
推荐理由：MoE 模型的路由器设计长期缺乏理论依据，MPI 给出了可解释的优化方向，做大规模 MoE 训练的团队值得关注，能直接提升模型效率。
原文
6月1日
00:09
5月29日
08:02
AITOP5月29日 08:02
Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？🔥Anthropic 把 AI 编程的“确认键”彻底删掉了！Claude Code 搭载全新 Opus 4.8 模型，长时间任务不跑偏、不废话、不中断，像一个资深工程师一样默默干活，从功能开发到漏洞清扫全包圆，你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”，现在它直接交完整交付物……自主编程的最后一层窗户纸，被捅破了。做自动化开发和代码审查的团队，这个模型建议直接上手，效率差距肉眼可见……Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？