Papers11:55
Chinese content研究解析 MoE 模型中 Softmax 路由坍缩与恢复机制训练 MoE 模型卡在路由坍缩上的可以看看，这篇把概率恢复要多久推成了对数或幂律，还有对照实验验证。
#Softmax路由
1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "Softmax路由", newest first.
Oct 30
训练 MoE 模型卡在路由坍缩上的可以看看，这篇把概率恢复要多久推成了对数或幂律，还有对照实验验证。