#Expert Tying

共 1 条 · 7 天 0 条 · 30 天 0 条

信息流里打上「Expert Tying」标签的资讯、产品与论文，按刊登时间排，新的在上。

6月16日

Expert Tying：MoE语言模型的层间专家参数共享

这个工作很实在：跨层共享专家参数让MoE模型内存减半，性能不掉，适合做模型压缩和高效训练的朋友看看。

#Expert Tying #MoE #OLMoE #Qwen3

arXiv cs.LG@Martin Jaggi原文