#长度泛化

共 4 条 · 7 天 0 条 · 30 天 0 条

信息流里打上「长度泛化」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月1日

论文精选73°12:10

这个280参数的变换器能完美处理任意长度布尔表达式，比普通模型更擅长深度泛化。

arXiv cs.LG@Takuya Ito 等 4 人原文

7月9日

论文精选09:55

这篇论文解释了为什么RoPE在训练中某些频率更常用，还教你用频率缩放来扛更长上下文，很实用。

arXiv cs.LG@Xinyi Wu 等 3 人原文

6月1日

这篇论文用严谨的实验和理论揭示了位置与符号注意力在长度泛化上的本质差异，做Transformer机制研究或长上下文优化的开发者值得细读，看完会对RoPE的几何解释有更深理解。

arXiv cs.LG@Felipe Urrutia 等 6 人原文

5月26日

论文精选12:25

长度泛化是AI模型的硬骨头，MLP-LDRU用对数深度设计解决了循环模型和Transformer的各自短板，做序列建模和语言理解的团队值得关注这个新架构。

arXiv cs.LG@Charles Pert 等 3 人原文