AITOP

ImageNet

共 5 条相关 AI 资讯
7月1日
09:41
09:41官方账号arXiv cs.LG@Louis Mouchon
这篇论文提出，编码器隐空间上的小预测器计算的惊喜信号，既能作为可塑性门控，也能支持元认知。在第一个系统中，基于DINOv2或I-JEPA骨架的非参数情景记忆在持续学习1000类ImageNet时，通过离线复述分别恢复17.7和51.3个百分点的旧类保留率。第二个系统将相同信号用于视觉语言模型，使其在已知概念时断言、陌生时拒绝并请求解释，AUROC达0.966。经过睡眠阶段后，系统能回忆99.2%的教过事实，而基线模型为0%。
论文DINOv2I-JEPAImageNet持续学习元认知
推荐理由：这篇论文用同一个惊喜信号同时解决了持续学习的灾难性遗忘和VLM的元认知问题，效果很漂亮，值得做记忆或VLM的朋友看看。
原文
6月23日
10:39
10:39官方账号arXiv cs.LG@Yuhang Jiang, Xiaojing Chen
这篇论文发现，输入多样性（DI）通过随机调整大小和填充来提升迁移性，但这种假设依赖于替代模型的类型。在标准替代模型上增加DI概率可提高攻击成功率，但在鲁棒训练的替代模型上反而降低，形成剪刀曲线。在ImageNet上，盲目使用DI导致鲁棒源模型在CNN、ViT、Swin和ConvNeXt等目标上的平均攻击成功率下降10.3%。通过梯度几何分析，约67%的伤害来自resize操作，且直接梯度对齐测量证实resize对标准模型有利而对鲁棒模型有害。作者提出一种无需训练的规则CG-DI，在局部梯度一致性高时禁用DI，避免鲁棒替代模型的损失。
论文剪刀效应输入多样性迁移攻击鲁棒性ImageNet
推荐理由：这篇论文讲了一个反直觉的现象：给攻击加随机缩放，对标准模型有用，对鲁棒模型反而有害。还给出了简单补救方法，搞对抗攻击的可以看看。
原文
6月16日
11:03
6月12日
09:41
09:41官方账号arXiv cs.LG@Jagriti Singh, Shekhar Verma, Muneendra Ojha
标准分类器引导的扩散模型倾向于生成高密度类均值附近的样本，导致对尾部罕见样本的覆盖不足。现有方法通过训练额外的低密度分类器来解决，但增加了计算成本。本文提出一种纯采样阶段的密度感知方法，无需额外训练，通过修改反向扩散动力学，利用分类器梯度将轨迹引向低置信区域，同时引导采样接近真实数据流形。在ImageNet 64x64分辨率下，该方法一致提升了ADM模型的召回率，同时保持可比的FID分数；在256x256分辨率下，视觉结果显示了不同引导组合的效果。这项工作为生成模型的长尾覆盖问题提供了一种轻量级解决方案。
论文扩散模型分类器引导低密度区域探索长尾覆盖ImageNet
推荐理由：做生成模型长尾覆盖或罕见样本生成的团队，无需额外训练就能提升模型对低密度区域的探索能力，建议直接参考其采样策略。
原文
5月19日
11:01
11:01官方账号arXiv cs.LG@Grigory Bartosh, David Ruhe, Emiel Hoogeboom, Jonathan Heek, Thomas Mensink, Tim Salimans
精选
Dual-Rate Diffusion 提出了一种新的扩散模型加速方法，通过交错执行一个稀疏更新的重上下文编码器和一个轻量去噪模型来降低推理成本。重编码器每几步提取一次高维特征，轻量模型则在每一步复用这些特征进行高效去噪。在 ImageNet 基准上，该方法在保持生成质量的同时将计算成本降低 2-4 倍。此外，该方法与蒸馏技术（如 Moment Matching Distillation）兼容，可进一步加速少步生成。
论文扩散模型推理加速ImageNet蒸馏生成模型
推荐理由：扩散模型推理慢是落地痛点，Dual-Rate Diffusion 用轻量网络复用特征，做图像生成的团队可以直接拿来加速现有模型，效果不打折。
原文