11:13
arXiv cs.LG@Kaustubh Kapil, Kishor P. Upla
推荐理由：这篇论文用TGO框架搞清楚了ViT的维度在训练中怎么变化——不是集中而是越来越分散，尤其CLS token最明显，对理解视觉Transformer内部机制很有参考价值。
全部 AI 动态
AI 相关资讯全量信息流
6月18日
11:13
研究者提出Transformer Geometry Observatory (TGO) 系统框架，用于探索视觉Transformer的表征几何与动力学。TGO-I聚焦光谱几何，使用ViT-Small/16模型在ImageNet-100上训练，分析有效秩、稳定秩、参与比、光谱熵、光谱平坦度、光谱各向异性等指标。结果发现训练中维度利用率持续增加，各向异性降低，光谱熵和参与比上升，特征谱趋于平坦。与直觉相反，方差在表征维度上再分配，CLS token表征展现出最高有效维度和最低各向异性。
6月16日
20:46
AITOP6月16日 20:46
11:44
11:44
arXiv cs.AI@Pratheswaran Hariharan, Haiping Xu, Donghui Yan
推荐理由：多模态模型总是幻觉？这篇论文用检索+可靠性打分，让模型不确定时主动说不知道，准确率还提升了，值得看看方法。
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07