#视觉Transformer

把 Muon 里那套 Newton-Schulz 迭代搬到注意力输出上，不加参数，ViT 和 Swin 在 CIFAR 上 12 组对比全涨，代价是推理变慢一点。

这篇论文通过可视化展示了ViT训练过程中的特征演变和迁移，为理解ViT的学习和演变提供了新的视角。

MixFrag用KL散度定位模型里对量化最敏感的部分，再把位宽分配变成背包问题。在COCO上比之前最好的混合精度PTQ方法涨了9.6 AP，跑ViT的可以看看。

这篇论文提出的FDT模拟人眼注视，只用一半token就比DeiT-S更准还省34%算力，而且天然抗噪声攻击。