#Vision Transformer

VideoMSN用图像分类器做视频学习，比传统方法快32倍，还能在少样本分类中表现出色。

想让线性 ViT 免去从头预训练？这篇告诉你直接复制 MLP 权重再蒸馏注意力就能追平 Softmax 版本，方法很实用。

用 22 万条极光光谱做掩码预训练，不用标签就超过专家手工特征和监督基线，还对比了 SpectraFM 和 SpecFormer 的可迁移性，做科学数据自监督的可以看看。

单目 RGB 就能算 3D 手部姿态，HO3D 上比 SOTA 准最多 37.1%，做手势交互的可以看代码。

农学家和嵌入式开发者必看：ViT压缩模型在辣椒病害检测上保持95%准确率，模型缩小54倍。

想把ViT模型跑到边缘FPGA上？FlexViT用硬件协同把混合层揉进统一引擎，比CPU快1.4倍，代码已经开源。

这个框架能自动给神经网络做剪枝和量化，压缩比达到6倍多，准确率几乎不掉，适合做模型部署。

这篇论文教你用ViT给学生的科学画图自动打分，还能判断哪些该机器批、哪些该人看，很适合做教育评估的参考。

这篇论文用LSTM加Vision Transformer看大气垂直结构，让天气预报误差预测精度翻倍，搞气象AI的值得一读。