AITOPAI热报
Event ·Official first-hand

OptimismBench：语言模型概率判断的乐观偏差与对齐效应

为了检测语言模型在概率判断中的方向性偏差，研究者提出OptimismBench，使用反向配对法计算符号偏差分数。对8个提供商的16个模型测试发现，14个模型呈现乐观偏差，仅Anthropic的旗舰层表现悲观。11组基座模型与聊天模型对比显示，后训练方向在不同模型家族中产生相反偏差。在17个模型、6种语言的比较中，模型身份主导语言因素，模型间方差是语言间方差的4.7倍。研究者发布了3870个条目、覆盖10种语言的偏差审计数据集。

Current read

这篇论文发现大多数大模型判断概率时普遍乐观，只有Anthropic的模型偏悲观，还揭示对齐训练会改变偏差方向，值得AI开发者和伦理研究者关注。

4 sources67° AI heatLast updated 2026/7/29 14:38:55

Evidence

4 sources
Primary sourcearXiv: Anthropic
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.

Open the story