#ViT

想让线性 ViT 免去从头预训练？这篇告诉你直接复制 MLP 权重再蒸馏注意力就能追平 Softmax 版本，方法很实用。

有人把压缩器直接塞进训练循环，让 ViT 权重自己长出可压缩语法，压缩率比 int8 QAT 好一半以上，思路挺新的。

论文教你怎么用解码器雅可比给 ViT 特征空间算真正的任务几何，剪掉一半 token 还能让深度误差少涨 25%，做高效推理的可以看看。

把 Muon 里那套 Newton-Schulz 迭代搬到注意力输出上，不加参数，ViT 和 Swin 在 CIFAR 上 12 组对比全涨，代价是推理变慢一点。

机器人控制不用再扛百亿参数VLM了，用ViT密集补丁特征直接训练，速度更快、参数量少99.3%，性能还涨18%。想轻量高效做具身策略的可以看这篇。

想用少量标注数据做心电图分析？这篇论文提出的ER-JEPA用18万条无标注ECG预训练，在ST-MEM基准上跑出SOTA，计算量还比同类方法小。

这篇论文用TGO框架搞清楚了ViT的维度在训练中怎么变化——不是集中而是越来越分散，尤其CLS token最明显，对理解视觉Transformer内部机制很有参考价值。