8月21日
10:56
10:56官方账号arXiv cs.LG@Joonas Järve, Halil Ibrahim Aysel, Tarun Khajuria, Meelis Kull
本文通过可视化训练过程,使用稀疏自编码器提取候选稀疏特征,研究视觉Transformer(ViT)中特征级别的动态变化。实验表明,特征迁移主要发生在训练早期,且随着特征组织稳定而减少。深层网络比浅层网络更早和更稳定地稳定。
推荐理由:这篇论文通过可视化展示了ViT训练过程中的特征演变和迁移,为理解ViT的学习和演变提供了新的视角。