研究:Claude Opus 与 Gemini 版本迭代导致审稿结论大幅漂移
一项在 ICLR 2027 审稿期间预注册的审计测试了 OpenAI、Google、Anthropic 的二十个前沿模型。结果显示,Claude Opus 与 Gemini 的前后两个版本之间,论文被判定为接收的比例分别下降 52 和 53 个百分点(183 和 60 篇抽样),另外六组配对比较中降幅为 43 到 79 个百分点,且没有任何论文评分上升。在提示词中明确写出 30% 接收率后,两个 Opus 版本之间的差距仍有 79 个百分点。 机制上,把旧版生成的评分剥离后的评审意见交换给新版模型,仅评审文本本身就让 Opus 的接收比例下降 35 个百分点、Gemini 下降 51 个百分点;即使由第三方模型打分、或重写后保留全部技术观点只去掉评价性措辞,Opus 的降幅仍分别为 35 和 24 个百分点。这说明漂移主要来自模型对评价性表述的倾向变化,而非技术内容判断。此外,二十个模型在 475 份评审中给出 2 或 3 分的占 473 份,而人类评审 72 份中只有 60 份如此集中。 结论层面,模型版本迭代会让基于 LLM 评分的阈值失效:Opus 4.6 与 5.5 在 57 篇论文上的百分位相关性为 0.73,但接收比例相差 44 个百分点。同时,回顾性测试存在记忆污染风险——Claude Opus 5.5 仅凭标题就能正确说出 27 篇已决 ICLR 2026 论文的第一作者且零错误,Opus 4.6 对其自称认识的 11 篇已决论文全部给出接收,远超 5 篇的预期基线。研究者建议每个模型版本都需对照人类决定重新校准阈值,针对 ICLR 2027 决定的验证测试定于 2026 年 12 月 16 日进行。
Current read
用 ICLR 2027 在审论文做的预注册审计,发现 Opus 换个版本接收率直接掉 52 个百分点,Gemini 也掉 53 个。正在拿 LLM 当审稿人或评审工具的团队必须看看:每个模型版本都得重新和人类决定校准,旧阈值不能沿用。
Evidence
11 sourcesConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.