00:14
elvis@omarsar0
elvis@omarsar0精选
推荐理由：Meta用Wiggle框架折腾了9个前沿模型，发现LLM裁判一被追问就翻案，最高91%翻转，这评测挺扎心。
Wiggle Framework
共 1 条相关 AI 资讯
8月15日
00:14
Meta新论文提出Wiggle Framework，压力测试LLM裁判的判决稳定性。他们用9个前沿模型在14项评判任务上测试了重新提示、单次质疑和持续施压三条轴线。结果显示所有模型都会改变判决，静态反驳下翻转率为25%-71%，面对对抗性说服者则达62%-91%。这种压力导致的判决改变几乎总是偏离地面真值，基线陪审团多数强度是预测哪些案例会翻转的最佳指标。