精选理由
nD-RoPE 解决了高维位置编码缺乏统一理论框架的问题，做视觉、视频或点云 Transformer 的开发者可以直接用，能显著提升模型对空间结构的理解能力。
nD-RoPE 是一种将旋转位置编码（RoPE）推广到任意维度的新方法。现有高维 RoPE 方法要么独立旋转每个轴，要么经验性地混合频率，限制了跨维度交互并导致方向依赖的表示。nD-RoPE 从连续希尔伯特空间的平移不变性出发，推导出各向同性的谱条件，要求将位置和频率视为耦合的 n 维向量。它采用多尺度正则单纯形波矢设计，提供非退化的空间覆盖和对称、方向平衡的二阶响应。在图像、视频和点云上的实验表明，nD-RoPE 在性能提升和泛化能力上均优于现有方法。
AI 翻译 · 中文
nD-RoPE 是一种将旋转位置编码（RoPE）推广到任意维度的新方法。现有高维 RoPE 方法要么独立旋转每个轴，要么经验性地混合频率，限制了跨维度交互并导致方向依赖的表示。nD-RoPE 从连续希尔伯特空间的平移不变性出发，推导出各向同性的谱条件，要求将位置和频率视为耦合的 n 维向量。它采用多尺度正则单纯形波矢设计，提供非退化的空间覆盖和对称、方向平衡的二阶响应。在图像、视频和点云上的实验表明，nD-RoPE 在性能提升和泛化能力上均优于现有方法。
Rotary Position Embedding (RoPE) is widely adopted in Transformer models, yet its extension to high-dimensional domains lacks a unified theoretical formulation. Most existing approaches either apply rotations independent…