AITOP

置信度

共 3 条相关 AI 资讯
8月11日
12:47
12:47官方账号arXiv cs.LG@Lecheng Kong, Like Hui, Haitao Mao, Jun Huan
论文指出基于置信度的无验证器测试时扩展（VF-TTS）方法在复杂任务上会崩溃，因为高置信度常表示探索失败。作者提出Consilience框架，通过评估推理中置信度的时间不对称性，惩罚初始高置信度并要求最终确定性。在研究生级数学问题和自由形式代码生成实验中，Consilience优于现有基线。
论文Consilience测试时扩展推理模型
推荐理由：如果你做推理模型，这个框架能解决置信度评分在复杂任务上失效的问题，用时间不对称性挑出真正靠谱的答案。
原文
7月1日
09:40
09:40官方账号arXiv cs.LG@Zena Al-Khalili, Rafi Hakim, Dietrich Klakow, Ji-Ung Lee
Fork-Think提出一种新范式：先通过模型置信度在单条路径上识别分流点，再触发多分支采样并聚合。在三个模型和三个推理基准上，相比并行思考，Fork-Think节省了30%的token消耗和57%的推理时间，性能持平或更优。结合早停和加权投票后，无需预热即可达到现有最优方法。
AI模型Fork-Think推理模型推理效率
推荐理由：Fork-Think让LLM推理更省钱省时间——先找准关键点再思考，token少用30%，速度快57%，效果还不输并行方法。
原文
5月13日
19:12
19:12官方一手arXiv: DeepSeek@Jinyuan Wang, Ningyuan Deng, Yi Yang
精选
大型语言模型（LLM）越来越多地被用于社会科学研究，将非结构化文本转换为可进入实证设计的变量。但研究发现，LLM的置信度与真实正确率严重不匹配，导致基于置信度过滤会扭曲下游回归估计。研究对GPT-5-mini、DeepSeek-V3.2等14个社会科学构念进行审计，发现所有模型都存在校准偏差。作为解决方案，提出软标签蒸馏管道，将LLM得分和置信度转化为软目标分布，训练小型判别分类器，平均降低ECE 43.2%和Brier 34.0%。研究呼吁将校准视为测量有效性的组成部分，而非可选的后期处理。
论文LLM社会科学校准
推荐理由：做社会科学量化分析的团队终于有了校准LLM输出的实操方案——软标签蒸馏能显著降低置信度偏差，建议做文本编码和实证研究的点开看看具体方法。
原文