#稀疏专家模型

共 3 条 · 7 天 0 条 · 30 天 0 条

MoE 2 OLMoE 2 DeepSeek-V2-Lite 1 几何结构 1 路由 1 路由机制 1

信息流里打上「稀疏专家模型」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月3日

论文精选73°09:59

稀疏专家模型路由几何与动力学共享证据

斯坦福团队揭示稀疏专家模型路由层间共享几何结构，能预测跨层路由行为，提升模型效率。

#稀疏专家模型 #MoE #路由 #几何结构

arXiv cs.AI@Kirill Labzin 等 4 人原文

8月11日

论文精选10:47

MoE路由新研究：解耦专家调度与聚合可提升性能

这篇论文用OLMoE和DeepSeek-V2-Lite实测证明，MoE路由的选专家和加权输出不该共用一套分数，FDAA方法能白捡性能提升，做MoE优化的值得看。

#MoE #OLMoE #DeepSeek-V2-Lite #稀疏专家模型

arXiv: DeepSeek@Zongfei Li原文

6月18日

稀疏混合专家模型中不连续性的几何与随机分析

这篇论文把SMoE的不连续性分析得清清楚楚，还附带了一个计算量很小的平滑方法，实验证明又能提高效果，值得一看。

#Sparse Mixture-of-Experts #SMoE #MoE #稀疏专家模型

arXiv cs.LG@Tho Tran Huu 等 7 人原文