#Mixture-of-Experts

共 8 条 · 7 天 1 条 · 30 天 4 条

DeepSeek-V2-Lite 1 Infinite-Parameter LLM 1 MoE 1 OLMoE-1B-7B 1 代理任务 1 剪枝 1 学习率 1 开源模型 1

信息流里打上「Mixture-of-Experts」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月10日

技巧 Agent 与开发者精选02:27

60GB内最佳开源MoE编程模型

寻找适合60GB RAM的开源MoE编程模型，速度需超12 tokens/秒，适合开发者实际需求。

#Mixture-of-Experts #编程模型 #开源模型 #硬件优化

官方账号Simon Willison@simonw原文

9月17日

论文 Agent 与开发者12:11

提出无限参数LLM架构，可实时生成权重适应新数据

这个研究挺有意思的，作者想解决传统LLM在运行时无法学习新知识的问题，提出的无限参数架构挺有创意，通过实时生成权重来适应新数据，比单纯用提示词或检索的方法可能更高效。

#Infinite-Parameter LLM #Mixture-of-Experts #提示词工程

arXiv cs.LG@Jinli Hu 等 4 人原文

论文 Agent 与开发者精选10:23

一种针对混合专家语言模型的专家剪枝方法 HOPE

研究团队提出的新方法 HOPE，通过考虑专家间的协同作用来优化混合专家语言模型的剪枝过程，在 122B 参数模型上测试，HOPE 在 50% 剪枝率下比 REAP 等方法性能更好，在代理任务上提升达 6.1%，证明了其有效性。

#Mixture-of-Experts #剪枝 #语言模型 #代理任务

arXiv cs.AI@Alex M. Tseng 等 5 人原文

9月11日

论文 Agent 与开发者精选11:53

混合专家模型在重复数据训练中更容易过拟合

这个研究很实用，告诉你用混合专家模型时，重复数据训练要小心，4倍以上就要注意了，有方法可以缓解但效果有限。

#Mixture-of-Experts #模型稀疏化 #数据重复 #过拟合

arXiv cs.LG@Atindra Jha 等 5 人原文

8月28日

论文精选73°18:45

MoE模型中三种推理优化为何失效

论文揭示了MoE模型中三种推理优化为何实际效果不佳，对模型部署有重要参考价值。

#Mixture-of-Experts #OLMoE-1B-7B #DeepSeek-V2-Lite #推理优化

arXiv: DeepSeek@Gokulakannan Sakthivel 等 4 人原文

8月21日

论文10:07

MoE 模型超参数高效迁移方法研究

研究人员提出了一种方法，能通过小模型实验，准确预测万亿 token 规模 MoE 模型的最优学习率，省去了大量计算成本。他们用 155B 参数的模型验证了方法的有效性。

#Mixture-of-Experts #MoE #超参数 #学习率

arXiv cs.LG@Nayeon Kim 等 5 人原文

6月17日

论文10:16

现代神经网络架构中的守恒定律统一框架

想知道GELU、多头注意力这些架构背后为什么有隐式偏好？这篇论文给出了严格的理论解释。

#GELU #SiLU #SwiGLU #Mixture-of-Experts

arXiv cs.LG@Viet-Hoang Tran 等 6 人原文

6月15日

论文11:10

从自监督语音模型到混合专家：稳健的反欺骗

MoE让反欺骗更强，EER降11.9%

#Self-Supervised Speech Model #Mixture-of-Experts #Anti-Spoofing #AI安全

arXiv cs.AI@Hugo Daumain 等 4 人原文