AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：稀疏MoE×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月8日
10:33
10:33arXiv cs.LG@Rohan Shravan
精选72°
该论文报告了在单个8GPU节点上端到端训练千亿参数稀疏混合专家模型的方法。LightningLM 0.1V 是一个基于循环骨干的语言模型家族，从小型稠密种子模型逐步扩展至120B参数、460个路由专家（top-12路由）。通过状态保持扩展策略，每个更大模型从小模型的训练权重生长而来，活跃参数从1.78B单调增长至5.93B。关键创新包括：可逆循环栈使激活内存不随模型增长而增加；状态保持扩展原则确保各阶段扩展不失败；单节点经济策略TQP通过量化基专家权重和训练低秩适配器，将优化器状态从100B+压缩至2.26B参数。模型家族、分词器和训练代码均已开源。
论文稀疏MoE模型扩展可逆循环低秩适配单节点训练
推荐理由：这篇论文解决了大模型训练资源门槛高的问题——单节点8卡就能训120B模型，做MoE和模型扩展的团队可以直接参考其状态保持原则和TQP策略，省下大量硬件成本。
原文
5月13日
19:12
19:12arXiv cs.LG@Sagi Ahrac, Noya Hochwald, Mor Geva
精选
稀疏混合专家模型（SMoE）在扩展语言模型时面临路由崩溃和负载均衡损失导致专业化下降的问题。本文揭示了路由器与其对应专家之间的几何耦合机制：对于给定token，所选专家的路由器权重和专家权重沿相同输入方向接收梯度，仅标量系数不同，因此匹配的路由器-专家方向累积相同的路由历史。实验表明，从零训练的1B SMoE中，更高的路由器分数预测更强的专家神经元激活，路由决策在所选专家内部被镜像。辅助负载均衡损失会破坏这种几何结构，使不同路由器方向相似度增加近三倍。最后，作者提出无参数在线K-Means路由器，通过维护专家隐藏状态运行平均值并基于余弦相似度分配token，在最低负载不平衡和适度困惑度增加下验证了几何耦合对有效路由的核心作用。
论文稀疏MoE路由机制几何耦合负载均衡在线K-Means
推荐理由：做MoE模型训练或路由优化的研究者，这篇论文解释了路由崩溃和负载均衡损失的底层机制，看完会对如何设计更有效的路由策略有直接启发。
原文
5月12日
19:11
19:11arXiv cs.LG@Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu
DECO是一种针对端侧设备设计的稀疏MoE架构，旨在相同参数预算和训练Token数下达到稠密Transformer的性能。它采用可微分灵活的ReLU路由和可学习专家缩放，结合新激活函数NormSiLU，提高了路由专家激活比率的稳定性和内在稀疏性。实验显示，仅激活20%专家即可匹配稠密模型性能，专用加速核在真实硬件上相比稠密推理加速3倍。这一工作对推动MoE在资源受限设备上的实际部署具有重要意义。
论文稀疏MoE端侧部署推理加速激活函数模型架构
推荐理由：DECO在保持性能和降低计算开销方面取得了良好平衡，其3倍加速和严格的稀疏性控制对端侧AI部署具有实际参考价值。
原文