AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP

simPE

共 1 条相关 AI 资讯
6月17日
09:41
09:41官方账号arXiv cs.AI@Andrea Santomauro, Luigi Portinale, Giorgio Leonardi
本研究从理论和实验两方面分析了相似性位置编码(simPE)在旋转扰动下的鲁棒性。论文首先证明simPE通常不具备旋转不变性,但基于Lipschitz假设推导出其在Frobenius范数下的显式扰动界。实验在四个数据集(Arrow、Shapes、Digits、FashionMNIST)上进行,测试图像逐渐增大旋转角度,simPE在准确率、F1、精确率和召回率上均优于标准学习型位置编码,尤其在小到中等旋转角度下表现更优。
论文simPE位置编码鲁棒性旋转不变性Transformer

推荐理由:这篇论文证明了simPE在图像旋转下比标准位置编码更稳,用四个数据集给出了理论界和实验验证,做视觉Transformer的值得看。
原文
精选全部日报登录