AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：表征几何×
6月18日
11:13
11:13arXiv cs.LG@Kaustubh Kapil, Kishor P. Upla
研究者提出Transformer Geometry Observatory (TGO) 系统框架，用于探索视觉Transformer的表征几何与动力学。TGO-I聚焦光谱几何，使用ViT-Small/16模型在ImageNet-100上训练，分析有效秩、稳定秩、参与比、光谱熵、光谱平坦度、光谱各向异性等指标。结果发现训练中维度利用率持续增加，各向异性降低，光谱熵和参与比上升，特征谱趋于平坦。与直觉相反，方差在表征维度上再分配，CLS token表征展现出最高有效维度和最低各向异性。
论文Vision TransformersViT表征几何光谱几何ImageNet-100
推荐理由：这篇论文用TGO框架搞清楚了ViT的维度在训练中怎么变化——不是集中而是越来越分散，尤其CLS token最明显，对理解视觉Transformer内部机制很有参考价值。
原文
6月16日
20:46
6月12日
12:57
11:23
11:23arXiv cs.LG@Ayushman Trivedi, Bhavika Melwani
该论文挑战了持续学习中“灾难性遗忘即信息破坏”的传统观点，提出遗忘知识其实仍以紧凑形式存在于模型表征中。研究者在Split CIFAR-100上训练ResNet-18，通过引入“恢复子空间维度”指标发现，尽管表征漂移显著，但恢复遗忘知识所需的子空间维度在整个训练过程中保持稳定（均值8.0）。主角度漂移与可恢复性高度相关（r=-0.862），一个简单几何模型能解释82.2%的可恢复性方差。这些结果支持“稳定恢复流形”假说，表明灾难性遗忘本质上是可访问性和流形对齐问题，而非信息丢失。
论文持续学习灾难性遗忘表征几何可恢复性ResNet-18
推荐理由：这篇论文用几何视角重新定义了灾难性遗忘，做持续学习或模型遗忘研究的开发者会看到新方向——遗忘不是删除，而是藏起来了。建议关注其恢复子空间维度的测量方法，可能启发新的抗遗忘算法。
原文
6月11日
15:28
15:23
15:07