#位置编码

共 7 条 · 7 天 0 条 · 30 天 1 条

信息流里打上「位置编码」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月30日

这篇论文解释了为什么混合模型不需要显式位置编码也能处理序列位置，对理解transformer架构很有价值。

arXiv cs.LG@Cutter Dawes 等 4 人原文

8月14日

腾讯ARC开源了SCoPE，一种视频扩散Transformer的位置编码，搞视频生成可以试试。

AK@_akhaliq原文

8月5日

掩码扩散模型的位置编码一直照搬自回归那套，MDLMPE 第一个把遮盖状态算进去，在 LLaDA 和 DREAM 上效果更好。

arXiv cs.AI@Tong Ling 等 8 人原文

7月9日

论文精选09:55

这篇论文解释了为什么RoPE在训练中某些频率更常用，还教你用频率缩放来扛更长上下文，很实用。

arXiv cs.LG@Xinyi Wu 等 3 人原文

6月17日

论文精选10:15

这篇论文解释了为啥RoPE比Sinusoidal位置编码更受青睐——它减少了参数空间的对称性，让Transformer表达力更强。如果你好奇背后的理论，值得一看。

arXiv cs.LG@Viet-Hoang Tran 等 5 人原文

这篇论文证明了simPE在图像旋转下比标准位置编码更稳，用四个数据集给出了理论界和实验验证，做视觉Transformer的值得看。

arXiv cs.AI@Andrea Santomauro 等 3 人原文

6月11日

论文精选12:38

nD-RoPE 解决了高维位置编码缺乏统一理论框架的问题，做视觉、视频或点云 Transformer 的开发者可以直接用，能显著提升模型对空间结构的理解能力。

arXiv cs.AI@Boyang Li 等 8 人原文