AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：语义不变性×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月29日
13:07
13:07arXiv: DeepSeek@Nishal Thomas, Noel Thomas
精选
一项针对数学推理基准 MathCheck（ICLR 2025）的审计发现，其 129 个问题组中有 4 个（3.1%）语义错误的改写，移除后 GPT-4o 从第 2 名跌至第 4 名，Claude Haiku 和 DeepSeek V3 排名上升。跨模型一致性检查（至少 3/4 模型一致）能以不到 10 美元成本自动发现这些错误。在作者自己的数据集中，47% 的自动生成改写存在语义错误。更严重的是，Claude Haiku 4.5 准确率 86% 但语义一致性率（SCR）仅 50%，意味着半数定理在语义等价改写下答案不同；9 个前沿模型准确率差距仅 10 个百分点（86-96%），但 SCR 差距达 32 个百分点（50-82%）。论文提出 FormInv 协议，包括审计方法、SCR 和 Cochran's Q 度量，以及用于场景感知模型选择的 FormInvSelector。
论文基准测试语义不变性数学推理模型评估FormInv
推荐理由：基准测试的排名可能因语义改写而失真，做模型评估或选型的团队值得关注——你的排名可能选错了赢家。
原文