13:46arXiv cs.AI@Ziwei Su, Junyu Ren, Victor Veitch该论文研究了对比嵌入模型中,尽管训练损失是尺度不变的且通常使用余弦相似度,但嵌入向量的范数(norm)却意外地与概念特异性、词频和人类不确定性等语义属性相关。作者通过分析优化动力学,推导出一个解析公式,证明嵌入长度作为训练过程的副产品自然地编码了这些信息。研究还展示了这种信号如何在特定模型和检索任务中作为“免费”校准工具使用,为之前仅基于经验的观察提供了理论解释。论文对比嵌入嵌入范数语义特异性校准优化动力学推荐理由:一篇理论论文,解释了为什么对比嵌入模型的向量长度能反映语义,以后做检索任务可以白捡校准信号。原文
09:45arXiv cs.AI@Md Omar Faruk Rokon, Shasvat Desai, Hong Yao, Kuang-chih Lee论文提出校准模型级联方法,通过路由查询至逐步更大的微调分类器,在赞助搜索中高效生成相关性标注。微调贡献20个准确率点,级联几乎不影响准确率但将计算成本减半。逐类等渗校准带来+0.6个点的统计显著提升。系统在生产中处理了1.5亿+标注,加速实验周期。论文AutoRelAnnotator相关性标注模型级联校准赞助搜索推荐理由:这篇论文教你怎么用级联模型做标注,既省成本又保精度,实测处理了1.5亿条数据。原文
11:40arXiv cs.AI@Gina Wong, Drew Prinster, Suchi Saria, Rama Chellappa, Anqi Liu该论文研究混合专家模型在分布偏移下的校准问题。先前工作表明专家级校准可提升MoE模型的准确率和校准度。本文发现硬路由模型中专家校准足以保证整体校准,但软路由模型则不足。对此提出对抗性重新加权方法,惩罚分布偏移下路由聚合的校准误差。实验证明该方法能改善平均及困难子集上的准确率-校准权衡。论文MoE分布偏移校准对抗性重加权推荐理由:这篇论文把MoE的校准问题研究透了,告诉你硬路由和软路由有什么区别,还给了一个对抗性重加权的解法。原文
09:22arXiv cs.LG@Eric Nalisnick, Chi Zhang, Sophia Qian, Yixin Wang精选这篇论文从统计校准的角度研究人类与AI的团队协作模型。假设团队由AI模型和人类组成,两者都基于特征空间的某种划分进行了校准,论文揭示了校准假设如何影响团队协作框架。研究考虑了两种框架:一是结合人类和模型的预测,二是将预测责任委托给人类或模型。理论和实验结果表明,现有的组合方法无法保持人类的校准程度;而委托方法虽然保留了预测者的校准,但将负担转移到了决定谁预测的拒绝元模型上。拒绝元模型需要足够精细的校准以定位每个成员的优越区域,这种需求随着人类专业知识的增加而增长,当人类依赖系统无法观察的信息时,这种校准变得不可实现。论文人机协作校准统计学习团队决策AI系统设计推荐理由:这篇论文为设计更可靠的Human-AI协作系统提供了理论基石,做AI系统设计或人机交互研究的团队值得关注,能帮你理解校准假设如何影响团队决策的可靠性。原文
10:03arXiv cs.LG@Rouaa Hoblos, Noura Dridi, Noureddine Zerhouni, Zeina Al Masry传统神经网络缺乏不确定性估计能力,而贝叶斯神经网络计算复杂。蒙特卡洛 Dropout 通过多次随机前向传播近似贝叶斯推理,但不确定性表示不够精细。本文提出将 Dirichlet 分布框架集成到 MC Dropout 中,利用 Sensoy 等人的方法建模类别概率,从而获得更丰富的不确定性信息。该方法在保持 MC Dropout 计算效率的同时,显著提升了不确定性估计的校准质量。实验表明,该方法能生成良好校准的不确定性估计,为不确定性感知的深度学习提供了实用方案。论文不确定性估计MC DropoutDirichlet分布贝叶斯神经网络校准推荐理由:做模型可靠性或安全关键应用的团队,终于有了一个既高效又精准的不确定性量化工具——在 MC Dropout 基础上加 Dirichlet 分布,校准效果更好,值得在分类任务中试试。原文
14:31arXiv cs.AI@Aditya Tanna, Yash Desai, Pratinav Seth, Mohamed Bouadi, Nassim Bouarour, Vinay Kumar Sankarapu精选一项新研究评估了六种现代表格基础模型(TFM)在153个OpenML分类任务上的集成效果。结果显示,这些模型高度冗余,平均成对Q统计量达0.961,接近1,导致任何凸组合的性能提升有限。最佳集成策略(两级级联堆叠)仅比最强单模型提升0.18%准确率,但计算成本增加253倍。统计检验表明,三种集成策略与最佳单模型处于同一等价组,而其他三种集成甚至显著更差。逻辑回归元学习器虽然提升了准确率和ROC-AUC,但严重破坏了校准,导致对数损失最差。研究建议实际应用中优先使用贪心选择策略。论文表格基础模型集成学习校准模型冗余OpenML推荐理由:做表格数据建模的团队会发现,盲目集成TFM可能得不偿失——计算成本飙升但收益微乎其微,甚至可能破坏模型校准。建议点开看看,避免踩坑。原文
19:12arXiv: DeepSeek@Jinyuan Wang, Ningyuan Deng, Yi Yang精选大型语言模型(LLM)越来越多地被用于社会科学研究,将非结构化文本转换为可进入实证设计的变量。但研究发现,LLM的置信度与真实正确率严重不匹配,导致基于置信度过滤会扭曲下游回归估计。研究对GPT-5-mini、DeepSeek-V3.2等14个社会科学构念进行审计,发现所有模型都存在校准偏差。作为解决方案,提出软标签蒸馏管道,将LLM得分和置信度转化为软目标分布,训练小型判别分类器,平均降低ECE 43.2%和Brier 34.0%。研究呼吁将校准视为测量有效性的组成部分,而非可选的后期处理。论文LLM社会科学校准置信度软标签蒸馏推荐理由:做社会科学量化分析的团队终于有了校准LLM输出的实操方案——软标签蒸馏能显著降低置信度偏差,建议做文本编码和实证研究的点开看看具体方法。原文