位置编码相关 AI 资讯 · AI 热点

8月14日

01:25

01:25

AK@_akhaliq

腾讯ARC发布了SCoPE，一种名为Sightline-Coordinate Positional Encoding的位置编码方法，专门用于视频扩散Transformer。该方法通过视线坐标建模视频帧间的时空关系，改进现有位置编码在长视频生成中的表现。SCoPE模型已开源在HuggingFace平台，用户可直接获取。推文展示了相关视频生成效果，但尚未公布具体基准数据。

AI模型 SCoPE TencentARC 视频生成

推荐理由：腾讯ARC开源了SCoPE，一种视频扩散Transformer的位置编码，搞视频生成可以试试。

8月5日

11:08

11:08

官方账号arXiv cs.AI@Tong Ling, Hang Lei, Feng Xiao, Changhui Sun, Jiahang Xie, Hao Liu, Lu Liu, Yanlong Du

MDLMPE 将掩码扩散模型中 token 的可见/掩码状态编码为二进制序列，结合高斯权重与余弦基投影生成位置特征，再经轻量 MLP 映射为角度偏移来调制 RoPE 相位。在 LLaDA 和 DREAM 上的实验覆盖监督微调、预训练、零样本评测和块扩散设置，整体优于传统位置编码。消融实验表明，可用性状态、高斯局部性、频谱基与嵌入注入的组合效果最强。

论文 MDLMPE LLaDA DREAM

推荐理由：掩码扩散模型的位置编码一直照搬自回归那套，MDLMPE 第一个把遮盖状态算进去，在 LLaDA 和 DREAM 上效果更好。

7月9日

09:55

09:55

官方账号arXiv cs.LG@Xinyi Wu, Siyuan Liu, Ali Jadbabaie

精选

论文提出频率匹配原理，认为RoPE最优频率与数据依赖宽度W成反比（1/W），并通过合成数据和文本数据验证。发现语言模型中低频带源于自然语言的多尺度依赖结构。将频率选择与位置插值长度泛化关联：低频缩放扩展有效场但降低分辨率。实验表明自然语言具有近似自相似性，支持测试时频率缩放实现长上下文泛化。

论文 RoPE 位置编码长度泛化

推荐理由：这篇论文解释了为什么RoPE在训练中某些频率更常用，还教你用频率缩放来扛更长上下文，很实用。

6月17日

10:15

10:15

官方账号arXiv cs.LG@Viet-Hoang Tran, Vinh Khanh Bui, Van-Hoan Trinh, Tan Lai Ngoc, Tan M. Nguyen

精选

这篇论文研究了Transformer中注意力机制的函数等价性，重点分析了sinusoidal和旋转位置编码（RoPE）两种变体。作者发现sinusoidal编码保留了普通注意力的等价结构，而RoPE显著减小了对称群，从而增强了表达力。这一发现为RoPE在实践中的流行提供了理论解释。论文还讨论了位置编码如何影响线性模式连接性，并通过对齐算法证明连接性的存在和变化关键依赖于位置编码。实验表明使用RoPE的Transformer在参数空间具有更少的函数等价性，有助于优化和泛化。

论文 Transformer RoPE 位置编码

推荐理由：这篇论文解释了为啥RoPE比Sinusoidal位置编码更受青睐——它减少了参数空间的对称性，让Transformer表达力更强。如果你好奇背后的理论，值得一看。

09:41

09:41

官方账号arXiv cs.AI@Andrea Santomauro, Luigi Portinale, Giorgio Leonardi

本研究从理论和实验两方面分析了相似性位置编码（simPE）在旋转扰动下的鲁棒性。论文首先证明simPE通常不具备旋转不变性，但基于Lipschitz假设推导出其在Frobenius范数下的显式扰动界。实验在四个数据集（Arrow、Shapes、Digits、FashionMNIST）上进行，测试图像逐渐增大旋转角度，simPE在准确率、F1、精确率和召回率上均优于标准学习型位置编码，尤其在小到中等旋转角度下表现更优。

论文 simPE 位置编码鲁棒性

推荐理由：这篇论文证明了simPE在图像旋转下比标准位置编码更稳，用四个数据集给出了理论界和实验验证，做视觉Transformer的值得看。

6月11日

12:38

12:38

官方账号arXiv cs.AI@Boyang Li, Yulin Wu, Sizhe Xu, Nuoxian Huang, Zhonghang Yuan, Shangyi Guo, Shu Yang, Takahiro Yabe

精选

nD-RoPE 是一种将旋转位置编码（RoPE）推广到任意维度的新方法。现有高维 RoPE 方法要么独立旋转每个轴，要么经验性地混合频率，限制了跨维度交互并导致方向依赖的表示。nD-RoPE 从连续希尔伯特空间的平移不变性出发，推导出各向同性的谱条件，要求将位置和频率视为耦合的 n 维向量。它采用多尺度正则单纯形波矢设计，提供非退化的空间覆盖和对称、方向平衡的二阶响应。在图像、视频和点云上的实验表明，nD-RoPE 在性能提升和泛化能力上均优于现有方法。

论文位置编码 RoPE Transformer

推荐理由：nD-RoPE 解决了高维位置编码缺乏统一理论框架的问题，做视觉、视频或点云 Transformer 的开发者可以直接用，能显著提升模型对空间结构的理解能力。