AITOP

不确定性估计

共 10 条相关 AI 资讯
8月12日
17:41
17:41官方账号arXiv cs.AI@Minsoo Kim, Sungyoung Ji, Kisung Moon, Ilyong Yoon
ASMI是一种免训练的估计器，通过掩码注意力头并测量子网络间的BALD互信息来检测模型对token预测的不确定性。在接地问答任务中，ASMI在单次置信度和熵之外增加了错误预测信息，可将置信过滤器的保留错误减半。在12个接地基准设置中，Sem-ASMI在10个上追平或超越语义熵基线，最佳ASMI变体在8个中领先。在参数化问答中，所有变体回归到零成本MSP基线，符合预期。
论文ASMI不确定性估计注意力机制
推荐理由：这篇论文提出了一种不用训练就能测模型不确定性的新方法，在接地问答上比现有基线更准，还能自己判断什么时候适用。
原文
7月8日
09:55
09:55官方账号arXiv cs.AI@Andrea Alfarano, Andrea Bacciu, Saab Mansour, Amin Mantrach, Marcello Federico
该研究首次在22种语言（涵盖高、中、低资源）上系统评估了9种不确定性估计方法。发现用英文推理（即使问题为低资源语言）能显著提升UE性能，并缩小与高资源语言的性能差距。研究还指出，小规模模型下基于概率的开放盒方法更优，大规模模型下封闭盒的自我表述不确定性更有效。论文提供了多语言选择性预测中阈值选择的指导。
论文不确定性估计多语言MCQA
推荐理由：这篇论文用22种语言、9种方法实测发现：让模型用英文思考能大幅改善低资源语言的不确定性估计，选方法还得看模型大小。
原文
7月3日
09:05
7月1日
11:06
11:06官方账号arXiv cs.LG@Sanghyuk Chun, William Yang, Amaya Dharmasiri, Olga Russakovsky
CoMet是一种针对多模态大语言模型（MLLM）的不确定性估计方法，将不确定性分解为上下文项和多样性项，分别捕捉任务或提示引发的歧义以及上下文确定的合理答案数量。该方法训练一个轻量级后验不确定性模块，无需自回归生成答案或重复采样即可高效估计不确定性。在多个开放多模态基准测试、幻觉检测和多项选择VQA基准上，CoMet持续优于现有基线，且保持计算效率。代码已开源。
论文CoMet不确定性估计多模态大语言模型
推荐理由：这篇论文提出了CoMet，能高效估计多模态语言模型的不确定性，比现有方法更准更快，很适合做AI可靠性的研究者看。
原文
6月18日
10:56
10:56官方账号arXiv cs.LG@Xin Ci Wong, Duygu Sarikaya, Kieran Zucker, Marc De Kamps, Nishant Ravikumar
该论文评估了蒙特卡洛丢弃法（MC Dropout）在脑肿瘤分割中识别错误的能力。在126例BraTS21患者上测试了SegResNet和UNet-Res两个模型，MC Dropout保持了分割精度（|ΔDice|<0.01），且不确定性-误差对齐AUROC（熵H）约0.97。但全局对齐掩盖了区域差异：UNet-Res在增强肿瘤亚区域的熵仅为0.054，期望校准误差（ECE）达0.915，Dice仅0.714，显示严重误校准。标准Dice和AUROC无法检测这一失败模式。
论文MC Dropout不确定性估计脑肿瘤分割
推荐理由：这篇论文用具体数据告诉你，模型Dice高不一定安全，得看关键区域的校准情况。做医疗AI必读。
原文
6月12日
13:46
13:46官方账号arXiv cs.LG@Paul Seij, Christian A. Naesseth, Stephan Mandt, Metod Jazbec
扩散模型在3D分子生成中广泛应用，但缺乏对生成分子质量的可靠信号。研究者提出一种后处理方法，基于拉普拉斯近似对预训练分子扩散模型进行逐样本不确定性估计。该方法通过测量生成轨迹中噪声预测的变异性来评估不确定性，实验表明该分数与样本质量负相关。利用该分数过滤生成样本，可在测试时提升模型性能。
论文扩散模型分子生成不确定性估计
推荐理由：做分子生成或药物设计的团队，终于有了一个能判断生成分子质量好坏的信号，建议试试这个后处理方法，能直接提升模型输出质量。
原文
6月9日
11:09
11:09官方账号arXiv cs.LG@Yuling Shi, Caiqi Zhang, Yuexian Li, Haopeng Wang, Yeheng Chen, Nigel Collier, Xiaodong Gu
精选
大型语言模型越来越多地用于代码生成，但静默错误程序带来安全风险。现有不确定性估计方法多继承自自然语言，忽略了代码的三个独特特性：单个错误标记可破坏整个程序（标记脆弱性）、算法意图与具体实现可能不一致（意图-代码差距）、以及程序可执行。研究者提出三个正交不确定性轴：词汇（Top-K token熵）、算法（伪代码一致性）和功能（行为一致性）。在五个代码LLM上，三轴集成将平均AUROC从0.696提升至0.776（+8.1点），且单次Top-K token熵在Qwen3-14B上匹配最强多基线，成本降低3倍以上。这表明代码不确定性估计需要代码特定的设计。
论文代码生成不确定性估计LLM
推荐理由：代码生成的不确定性评估长期被自然语言方法误导，这篇论文给出了三个正交维度，做代码LLM安全评估或部署的团队值得仔细看，能直接改进选择性预测和人工审查流程。
原文
5月25日
10:03
10:03官方账号arXiv cs.LG@Rouaa Hoblos, Noura Dridi, Noureddine Zerhouni, Zeina Al Masry
传统神经网络缺乏不确定性估计能力，而贝叶斯神经网络计算复杂。蒙特卡洛 Dropout 通过多次随机前向传播近似贝叶斯推理，但不确定性表示不够精细。本文提出将 Dirichlet 分布框架集成到 MC Dropout 中，利用 Sensoy 等人的方法建模类别概率，从而获得更丰富的不确定性信息。该方法在保持 MC Dropout 计算效率的同时，显著提升了不确定性估计的校准质量。实验表明，该方法能生成良好校准的不确定性估计，为不确定性感知的深度学习提供了实用方案。
论文不确定性估计MC DropoutDirichlet分布
推荐理由：做模型可靠性或安全关键应用的团队，终于有了一个既高效又精准的不确定性量化工具——在 MC Dropout 基础上加 Dirichlet 分布，校准效果更好，值得在分类任务中试试。
原文
5月22日
11:34
11:34官方账号arXiv cs.LG@Berk Hayta, Hannah Laus, Simon Mittermaier, Felix Krahmer
精选
证据深度学习（EDL）通过狄利克雷分布实现单次前向传播的不确定性估计，但其损失函数复杂，难以分析和实现。本文提出一种插件损失（plug-in loss），在狄利克雷均值处评估标准损失（如交叉熵），并证明在温和假设下近似误差随证据增长而衰减。该框架将标准 Softmax 分类器纳入不确定性估计，简化了实现。在 Google Speech Commands 数据集上，该方法在预测准确率和选择性预测性能上与经典 EDL 相当，且更易集成到现有训练流程。这是首次在语音识别任务中通过 EDL 获得覆盖-准确率权衡的实证分析。
论文不确定性估计证据深度学习Softmax
推荐理由：做不确定性估计的团队终于有了更简单的实现路径——用标准 Softmax 损失就能获得 EDL 效果，语音识别研究者可以直接替换现有训练流程试试。
原文
5月12日
19:11
19:11官方一手arXiv: DeepSeek@Weilin He, Arindam Sharma, Cristina David
该研究针对LLM代码生成缺乏正确性保证的问题，提出了一种基于语义距离的不确定性估计方法。与传统样本估计仅度量输出是否一致不同，新方法衡量候选程序执行行为的差异程度。在LiveCodeBench、MBPP等基准测试上，该方法在Python、Java、C++语言上均优于现有基线，且无需访问模型内部或调用LLM作为裁判，运行时间减少48%-79%。研究首次引入分类法厘清不确定性估计的设计维度，填补了语义感知估计这一空白。
论文代码生成不确定性估计语义距离
推荐理由：该工作为LLM代码生成提供了更实用的不确定性估计方案，在效率与效果上均取得显著提升，对提升代码生成系统的可靠性和安全性具有实践指导意义。
原文