Papers13:13
Chinese contentTapered Language Models：沿深度锥形分配MLP参数提升性能这篇论文发现了一个简单技巧：同等算力下，把更多参数分给前几层、少给后几层，模型效果就能更好，试了多种架构都管用。
#参数分配
1 stories · 0 in 7 days · 0 in 30 days
Stories, products and papers tagged "参数分配", newest first.
Jun 23
这篇论文发现了一个简单技巧：同等算力下，把更多参数分给前几层、少给后几层，模型效果就能更好，试了多种架构都管用。