11:39arXiv cs.LG@Trisha Mittal, Akshay Mehra, Joshua Kimball这篇论文基于ImageNet-1K、ImageNet100和ImageNette三个数据集,采用三种训练协议,对七种最新数据集蒸馏(DD)方法与三种核心集选择(CS)策略进行了标准化对比。实验发现,部分DD方法甚至不如随机子集,而最先进的DD方法在大规模数据集上表现与核心集相当或更差。DD方法的构建成本显著高于CS。此外,核心集在数据分布覆盖、代表性和多样性上始终优于蒸馏集。论文Dataset DistillationCoreset SelectionImageNet-1K数据压缩论文推荐理由:想用数据集蒸馏来压缩训练集?这篇论文告诉你,现有DD方法在ImageNet上不比随机选子集好,还更贵,不如直接用核心集。原文