09:55
官方账号arXiv cs.LG@Xinyi Wu, Siyuan Liu, Ali Jadbabaie
精选
推荐理由：这篇论文解释了为什么RoPE在训练中某些频率更常用，还教你用频率缩放来扛更长上下文，很实用。
频率匹配
共 1 条相关 AI 资讯
7月9日
09:55
论文提出频率匹配原理，认为RoPE最优频率与数据依赖宽度W成反比（1/W），并通过合成数据和文本数据验证。发现语言模型中低频带源于自然语言的多尺度依赖结构。将频率选择与位置插值长度泛化关联：低频缩放扩展有效场但降低分辨率。实验表明自然语言具有近似自相似性，支持测试时频率缩放实现长上下文泛化。