AITOP

损失函数

共 3 条相关 AI 资讯
7月15日
10:09
10:09官方账号arXiv cs.LG@Blanca Cano-Camarero, Ángela Fernández-Pascual, José R. Dorronsoro
论文提出CoCo损失函数，通过鼓励类内坍缩和类间对比来学习归一化且结构良好的表示。理论分析表明，CoCo相比点回归和交叉熵损失具有更接近最优配置的初始化、更有信息量的梯度和更强的类坍缩激励。在OpenML-CC18基准的多个表格数据集上，CoCo实现了与核SVM、随机森林、点回归和基于交叉熵的神经网络相当的性能。实验还证明CoCo促进了更紧的类聚类和更快的收敛速度。这些结果表明CoCo损失在保持竞争性预测性能的同时，能有效学习判别性表示。
论文CoCo损失函数表征学习
推荐理由：这篇论文搞了个新损失函数CoCo，训练收敛快，在OpenML-CC18上跟SVM打成平手，做表格分类任务的可以试试。
原文
6月24日
11:43
11:43官方账号arXiv cs.LG@Nahuel Gonzalez, Marta Robledo-Moreno, Ivan DeAndres-Tame, Ruben Vera-Rodriguez, Ruben Tolosana
该论文提出EERLoss，一种可微且任意精度的等错误率（EER）近似损失函数，直接优化生物特征验证的主要评价指标。在KVC-onGoing基准上测试，涵盖超18.5万被试的击键动力学数据。消融实验表明EERLoss优于现有损失函数，且收敛更快。用EERLoss重新训练KVC-winning架构后，EER相对降低约30%，显著超越原SOTA。
论文EERLoss击键动力学KVC-onGoing
推荐理由：这篇论文直接优化EER指标，在18.5万人击键数据上EER降了30%，训练还更快，做生物识别的值得一看。
原文
5月21日
10:07
10:07官方一手arXiv: DeepSeek@Zhaohui Zheng, Chenhang He, Shihao Wang, Yuxuan Li, Ming-Ming Cheng, Lei Zhang
精选
论文提出Digit Entropy Loss（DEL），一种用于大语言模型（LLM）数值学习的新损失函数。现有方法如Number Token Loss和Discretized Distance Loss分别导致数字分布过尖锐或过平坦，而DEL通过将无监督熵优化改造为有监督形式，并摒弃数值距离项，解决了这一问题。DEL支持整数、小数和小数点，将学习目标从单个数字扩展到浮点数域。在CodeLlama、Mistral、DeepSeek和Qwen-2.5等四个代表性LLM上的七个数学推理基准测试中，DEL在预测准确性和数值距离上均优于现有方法。
论文数值学习损失函数数学推理
推荐理由：数值预测是数学推理和代码生成的基础能力，DEL直接改进了LLM对数字的学习效果。做数学推理或代码生成模型训练的团队，值得关注这个新损失函数，它简单有效且开源可用。
原文