13:13
arXiv cs.AI@Reza Bayat, Ali Behrouz, Aaron Courville
推荐理由：这篇论文发现了一个简单技巧：同等算力下，把更多参数分给前几层、少给后几层，模型效果就能更好，试了多种架构都管用。
全部 AI 动态
AI 相关资讯全量信息流
6月23日
13:13
当前语言模型在深度上均匀分配参数，但研究表明各层贡献不同。该论文在固定预算下实验发现，将更多参数分配给前层、减少后层可以改进困惑度。提出Tapered Language Models（TLMs），通过余弦调度平滑锥形化MLP宽度。在Transformer、Gated Attention、Hope-attention和Titans四种架构上，三个模型尺度均一致提升困惑度和下游基准性能，且不增加参数或计算量。
6月16日
20:46
AITOP6月16日 20:46
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
5月12日
19:11
19:11
arXiv cs.LG@Chenyang Song, Weilin Zhao, Xu Han, Chaojun Xiao, Yingfa Chen, Zhiyuan Liu
推荐理由：DECO在保持性能和降低计算开销方面取得了良好平衡，其3倍加速和严格的稀疏性控制对端侧AI部署具有实际参考价值。