精选理由
代码生成的不确定性评估长期被自然语言方法误导，这篇论文给出了三个正交维度，做代码LLM安全评估或部署的团队值得仔细看，能直接改进选择性预测和人工审查流程。
大型语言模型越来越多地用于代码生成，但静默错误程序带来安全风险。现有不确定性估计方法多继承自自然语言，忽略了代码的三个独特特性：单个错误标记可破坏整个程序（标记脆弱性）、算法意图与具体实现可能不一致（意图-代码差距）、以及程序可执行。研究者提出三个正交不确定性轴：词汇（Top-K token熵）、算法（伪代码一致性）和功能（行为一致性）。在五个代码LLM上，三轴集成将平均AUROC从0.696提升至0.776（+8.1点），且单次Top-K token熵在Qwen3-14B上匹配最强多基线，成本降低3倍以上。这表明代码不确定性估计需要代码特定的设计。
AI 翻译 · 中文
大型语言模型越来越多地用于代码生成，但静默错误程序带来安全风险。现有不确定性估计方法多继承自自然语言，忽略了代码的三个独特特性：单个错误标记可破坏整个程序（标记脆弱性）、算法意图与具体实现可能不一致（意图-代码差距）、以及程序可执行。研究者提出三个正交不确定性轴：词汇（Top-K token熵）、算法（伪代码一致性）和功能（行为一致性）。在五个代码LLM上，三轴集成将平均AUROC从0.696提升至0.776（+8.1点），且单次Top-K token熵在Qwen3-14B上匹配最强多基线，成本降低3倍以上。这表明代码不确定性估计需要代码特定的设计。
Large language models (LLMs) are increasingly deployed as code generators, where silently wrong programs pose real safety and reliability risks. Reliable uncertainty estimation (UE) is essential for selective prediction,…