SAMN:无需调参的自适应范数缩放,解决长尾识别超参数敏感问题

Why Not Hyperparameter-Friendly Optimisation? A Monotonic Adaptive Norm Rescaling Approach For Long-Tailed Recognition

精选理由

做长尾识别或类别不平衡任务的开发者,终于可以告别调参噩梦了——SAMN 直接省去超参数搜索,即插即用还能涨点,建议试试。

AI 摘要

长尾识别是深度学习中的难题,两阶段解耦范式中的自适应范数缩放技术虽有效,但依赖超参数调优,性能波动大。本文提出 Self-Adaptive Monotonic Normalization (SAMN),通过 Pool Adjacent Violators Algorithm 直接对每类权重范数施加单调性约束,无需参数正则化,彻底消除超参数敏感性。SAMN 是一种通用策略,可无缝集成到其他方法中提升性能。在多个基准数据集上,SAMN 显著提升长尾识别准确率,常达到最优结果。

AI 翻译 · 中文

长尾识别是深度学习中的难题,两阶段解耦范式中的自适应范数缩放技术虽有效,但依赖超参数调优,性能波动大。本文提出 Self-Adaptive Monotonic Normalization (SAMN),通过 Pool Adjacent Violators Algorithm 直接对每类权重范数施加单调性约束,无需参数正则化,彻底消除超参数敏感性。SAMN 是一种通用策略,可无缝集成到其他方法中提升性能。在多个基准数据集上,SAMN 显著提升长尾识别准确率,常达到最优结果。

arXiv cs.AILong-tailed recognition poses a significant challenge for deep learning. The two-stage decoupling paradigm, which separates representation learning from classifier retraining, offers a promising solution. During the clas