ImageNet-1K 相关 AI 资讯 · AI 热点

8月3日

09:44

09:44

官方账号arXiv cs.LG@Mostafa ElAraby, Samer B. Nashed, Liam Paull

这篇论文研究持续学习系统中的分布外（OOD）检测退化问题。作者发现OOD遗忘与先前任务分类性能仅呈弱负相关，且能量型和特征型检测器分别因置信度缺口和流形拥挤而退化。他们提出无需训练的后续校准方法TOOD，将logits分解为逐任务能量分数并用重放缓冲统计重新校准。在CIFAR-10、CIFAR-100和100任务ImageNet-1K流上，TOOD在九个十项CIFAR配置中排名第一或第二。

论文 TOOD 持续学习 OOD检测

推荐理由：持续学习里OOD检测老退化，这篇论文讲清了原因，还给了免训练的TOOD校准方法，CIFAR上九成配置都能排前二。

7月30日

09:26

09:26

官方账号arXiv cs.LG@Fengming Yu, Haiwei Pan, Kejia Zhang, Chunling Chen, Jian Guan, Baoying Ma

CoCaRS 提出一种基于相关校准的冗余抑制方法，用于解决异构知识蒸馏中教师和学生模型架构差异导致的表示不一致问题。该方法通过混淆证据估计和强度分配控制校准特征去相关，并采用自适应系数调节降低对超参数的敏感性。在 CIFAR-100 和 ImageNet-1K 上的实验验证了 CoCaRS 能提升蒸馏性能并减少系数设置敏感度。

论文 CoCaRS 知识蒸馏异构知识蒸馏

推荐理由：想提升异构模型蒸馏效果？CoCaRS 用三种新模块解决特征冗余和系数敏感问题，实验在 CIFAR-100 和 ImageNet-1K 上表现更好。

7月29日

11:34

11:34

官方账号arXiv cs.LG@Wenzhi Zhong, Edward Milsom, Michael Murray

Sharpness-Aware Minimization（SAM）通过鼓励对参数扰动不敏感来提升泛化，但扰动几何依赖尚未清晰。本文借鉴Muon优化器的矩阵感知思路，为矩阵权重引入逐层谱内扰动，并与AdamW/SGDW或Muon外更新组合。在ImageNet-1K上对ViT-Small/16和ResNet-50的实验表明，谱内步+Muon外步在两类模型上均取得最高验证准确率。该工作揭示了谱范数几何在SAM中的有效性。

AI模型 SAM Muon ImageNet-1K

推荐理由：这个研究把SAM的内扰动改成矩阵谱范数，再用Muon做外更新，在ImageNet的ViT和ResNet上准确率都最高。

6月17日

11:39

11:39

官方账号arXiv cs.LG@Trisha Mittal, Akshay Mehra, Joshua Kimball

这篇论文基于ImageNet-1K、ImageNet100和ImageNette三个数据集，采用三种训练协议，对七种最新数据集蒸馏（DD）方法与三种核心集选择（CS）策略进行了标准化对比。实验发现，部分DD方法甚至不如随机子集，而最先进的DD方法在大规模数据集上表现与核心集相当或更差。DD方法的构建成本显著高于CS。此外，核心集在数据分布覆盖、代表性和多样性上始终优于蒸馏集。

论文 Dataset Distillation Coreset Selection ImageNet-1K

推荐理由：想用数据集蒸馏来压缩训练集？这篇论文告诉你，现有DD方法在ImageNet上不比随机选子集好，还更贵，不如直接用核心集。