09:22
官方账号arXiv cs.LG@Ibrahim Batuhan Akkaya, Kishaan Jeeveswaran, Bahram Zonooz, Elahe Arani
推荐理由：这篇论文提出的FDT模拟人眼注视，只用一半token就比DeiT-S更准还省34%算力，而且天然抗噪声攻击。
DeiT-S
共 1 条相关 AI 资讯
7月13日
09:22
该论文提出FDT（Foveated Dynamic Transformer），受人类视觉系统中央凹采样和眼动启发。FDT包含注视模块定位注视点过滤无关信息，中央凹模块生成多尺度中央凹嵌入。在50%固定预算下，FDT在ImageNet上准确率81.9%，高于DeiT-S的80.9%，同时减少34.57%乘加操作。FDT对噪声和对抗攻击展现出天然鲁棒性，无需专门训练。