#Vision Transformers

共 2 条 · 7 天 0 条 · 30 天 0 条

ViTAMINS 1 图像分类 1 对比学习 1 自监督学习 1

信息流里打上「Vision Transformers」标签的资讯、产品与论文，按刊登时间排，新的在上。

9月2日

论文精选73°09:35

ViTAMINS：自监督视觉Transformer合成难例训练研究

ViTAMINS用合成难例提升视觉Transformer性能，资源效率还更高，ViT-B就能打败V-JEPA的ViT-L。

#ViTAMINS #Vision Transformers #自监督学习 #图像分类

arXiv cs.AI@Nikos Giakoumoglou 等 4 人原文

6月18日

Transformer Geometry Observatory TGO-I: 视觉Transformer的光谱几何研究

这篇论文用TGO框架搞清楚了ViT的维度在训练中怎么变化——不是集中而是越来越分散，尤其CLS token最明显，对理解视觉Transformer内部机制很有参考价值。

#Vision Transformers #ViT #表征几何 #光谱几何

arXiv cs.LG@Kaustubh Kapil, Kishor P. Upla原文