#专家混合

共 4 条 · 7 天 0 条 · 30 天 0 条

信息流里打上「专家混合」标签的资讯、产品与论文，按刊登时间排，新的在上。

8月31日

论文73°11:45

新方法让31.5B参数模型训练省1/3时间，性能还更好，适合大规模MoE模型训练。

arXiv cs.AI@Simeng Sun, Roger Waleffe原文

7月28日

这篇论文把LLM里高效扩展的思路用到了扩散Transformer上，MMOE在单机8卡H100就跑出了更低的FID，比加参数更实用。

arXiv cs.LG@Yanhao Jia 等 6 人2 个信源在谈原文

6月17日

稀疏MoE的top-k路由不灵活还浪费算力，SoftMoE用可微路由让模型自己学会少用专家，性能却不输，代码开源了。

arXiv cs.AI@Mikołaj Zasada 等 4 人原文

6月8日

论文精选10:12

SETA解决了LLM持续学习中任务知识冲突的核心痛点，做多任务模型训练或知识迁移的团队可以直接参考其专家分解思路，值得关注其稀疏子空间设计。

arXiv cs.AI@Fatema Siddika 等 4 人原文