论文精选

Reverse Probing:面向临床文本的监督式Token级不确定性量化方法

Reverse Probing: Supervised Token-level Uncertainty Quantification for Large Language Models in Clinical Text

精选理由

临床AI部署中,模型能否准确表达不确定性直接关系到患者安全——Reverse Probing让token级不确定性量化首次在临床摘要场景落地,做医疗NLP或AI安全的研究者值得关注。

AI 摘要

大型语言模型在临床文本中部署时,可靠地表达自身不确定性至关重要。现有不确定性量化方法多针对开放域生成,无法在长临床文本中定位到token或片段级别。研究者提出Reverse Probing,首个专为临床摘要设计的不确定性量化框架,直接从已有标注摘要中估计token级不确定性,而非采样新输出。该方法将文本作为探针,从四种内部激活中提取不确定性信号,在两个专家标注的临床数据集上超越八种基线方法,AUPRC提升高达4倍,同时降低推理时间和计算成本。特征分析显示,delta能量和邻域上下文是所有模型中最一致的预测因子,为模型如何内部响应无支持的临床内容提供了可解释的洞见。

AI 翻译 · 中文

大型语言模型在临床文本中部署时,可靠地表达自身不确定性至关重要。现有不确定性量化方法多针对开放域生成,无法在长临床文本中定位到token或片段级别。研究者提出Reverse Probing,首个专为临床摘要设计的不确定性量化框架,直接从已有标注摘要中估计token级不确定性,而非采样新输出。该方法将文本作为探针,从四种内部激活中提取不确定性信号,在两个专家标注的临床数据集上超越八种基线方法,AUPRC提升高达4倍,同时降低推理时间和计算成本。特征分析显示,delta能量和邻域上下文是所有模型中最一致的预测因子,为模型如何内部响应无支持的临床内容提供了可解释的洞见。

arXiv cs.AIAs large language models are increasingly deployed for clinical text, ensuring they can reliably signal their own uncertainty becomes critical. Most existing uncertainty quantification (UQ) methods are designed for open-