#OLMoE

共 6 条 · 7 天 1 条 · 30 天 2 条

信息流里打上「OLMoE」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月9日

一篇 MoE 训练论文：把固定 top-k 换成在 k 附近随机采样，Qwen3-30B-A3B 微调能多拿 2 分，推理成本不变。

arXiv cs.LG@Yunkai Chai 等 7 人原文

9月29日

合并 MoE 模型时看到路由乱了先别急着修，这篇用 DeepSeekMoE 等三个模型证明漂移不等于失败，还给了工具包和修复代码。

arXiv cs.LG@Yuanyi Wang 等 10 人原文

9月3日

论文精选73°09:59

斯坦福团队揭示稀疏专家模型路由层间共享几何结构，能预测跨层路由行为，提升模型效率。

arXiv cs.AI@Kirill Labzin 等 4 人原文

8月11日

论文精选10:47

这篇论文用OLMoE和DeepSeek-V2-Lite实测证明，MoE路由的选专家和加权输出不该共用一套分数，FDAA方法能白捡性能提升，做MoE优化的值得看。

arXiv: DeepSeek@Zongfei Li原文

7月31日

论文精选09:53

这篇论文把MoE路由的几何重叠和功能价值分开了，用了新指标ESSI和受控实验，结论很扎实，比单纯算相似度靠谱。

arXiv: DeepSeek@Huiyuan Tian 等 3 人原文

6月16日

这个工作很实在：跨层共享专家参数让MoE模型内存减半，性能不掉，适合做模型压缩和高效训练的朋友看看。

arXiv cs.LG@Martin Jaggi原文