精选理由
这篇论文解释了为什么RoPE在训练中某些频率更常用，还教你用频率缩放来扛更长上下文，很实用。
论文提出频率匹配原理，认为RoPE最优频率与数据依赖宽度W成反比（1/W），并通过合成数据和文本数据验证。发现语言模型中低频带源于自然语言的多尺度依赖结构。将频率选择与位置插值长度泛化关联：低频缩放扩展有效场但降低分辨率。实验表明自然语言具有近似自相似性，支持测试时频率缩放实现长上下文泛化。
AI 翻译 · 中文
论文提出频率匹配原理，认为RoPE最优频率与数据依赖宽度W成反比（1/W），并通过合成数据和文本数据验证。发现语言模型中低频带源于自然语言的多尺度依赖结构。将频率选择与位置插值长度泛化关联：低频缩放扩展有效场但降低分辨率。实验表明自然语言具有近似自相似性，支持测试时频率缩放实现长上下文泛化。
Rotary Position Embeddings (RoPE) provide transformers with a fixed grid of positional frequencies, yet trained models use these frequencies highly non-uniformly. We study what determines this frequency usage and propose…