№loss·general
Loss
别名
- 首次出现
- 2026-05-22
- 最近出现
- 2026-07-27
- 累计提及
- 40
§ 01综述
在机器学习和人工智能领域，Loss（损失函数）是一种衡量模型预测与真实值之间差距的数学函数，是训练优化算法的核心目标。它的选择直接影响模型的收敛速度、泛化能力以及最终任务表现。近年来，损失函数的设计正从传统的均方误差、交叉熵等通用形式，向更贴合具体任务、更具可解释性的方向演进，同时也在大模型与数值学习等新场景中面临挑战。
Loss 近期进展
面向大模型数值学习的Digit Entropy Loss：DeepSeek在论文中提出了一种专为大模型处理数值数据设计的损失函数——Digit Entropy Loss（DEL）。该损失函数通过逐位熵的惩罚机制，提升模型对数字的精确理解和生成能力，显著改善了数值任务（如数学推理、表格预测）的性能。这一工作表明，针对特定数据类型定制损失函数已成为提升大模型能力的关键方向。 DEL：面向大模型数值学习的Digit Entropy Loss
基于决策感知的生成模型训练：一项研究提出了Decision-Aware Training框架，将下游决策的效用直接融入生成模型的损失函数中。传统生成模型以最大化似然为目标，但忽略了样本在后续任务中的实际价值。该方法通过决策损失替代单纯的数据拟合损失，使生成的样本更符合下游决策需求，在推荐系统、高维模拟等场景中取得更好效果。 Decision-Aware Training for Sample-Based Generative Models
混合放射组学引导的医学图像分割损失设计：RadiomicNet在轻量级可解释医学图像分割中，结合放射组学特征设计了混合损失函数。该损失不仅包含传统的像素级分类损失，还引入了解剖结构一致性和放射组学特征匹配的项，提升了分割结果的可解释性和临床一致性，尤其适用于数据稀缺的医疗场景。 RadiomicNet：混合放射组学引导的轻量可解释医学图像分割
改进的3D MRI重建中的潜在建模损失：一项关于3D MRI重建与跨对比度合成的研究，提出了通过潜在空间建模来优化损失函数的方法。该工作先恢复语义信息，再生成图像，其损失函数在像素级和语义级同时约束，有效提升了多对比度MRI的重建质量，减少了伪影。 Recover Semantics First, Generate Better: 改进的3D MRI重建与跨对比度合成潜在建模
当前焦点与观察点
当前Loss的研究焦点集中在三个方面：一是任务特定性，即针对不同数据类型（数值、图像、序列）和下游目标（决策、可解释性）设计专用损失项；二是多目标平衡，如何在不牺牲主要指标的前提下，融入结构、语义、公平性等约束；三是计算效率，大模型和高维数据要求损失函数本身可微且计算开销可控。值得注意的是，一些工作开始反思“均方误差最优”的假设，转而探索能更好反映人类偏好的损失形式，例如决策感知损失和感知质量损失。未来，Loss的设计将越来越成为AI系统定制化的核心环节，而非简单的调参选项。