AITOP

LLM-as-Judge

共 2 条相关 AI 资讯
7月14日
12:14
12:14官方账号arXiv cs.LG@Zixiang Xu, Sixian Li, Huaxing Liu, Xiang Wang, Shuai Li, Zirui Song, Xiuying Chen
该论文从机制可解释性角度研究LLM作为评判者的评分偏见，覆盖7种评判模型、7种偏见类型和9个基准。研究发现偏见输入在隐藏状态中沿低维子空间位移，且该子空间在深层网络中更为显著。通过沿该子空间进行因果控制，可在清洁输入上复现偏见过打分，在偏见过输入上恢复基线打分。线性投影到偏见方向特征可预测模型在3个未见基准上的失败，效果远超基于文本的替代方法。
论文LLM-as-Judge偏见机制可解释性
推荐理由：这篇论文用几何视角解释LLM评判偏见，发现偏见隐藏状态的低维子空间，还能预测模型在未知基准上的失败，挺有意思。
原文
6月11日
12:11
12:11官方账号arXiv cs.AI@Soumitra Sinhahajari, Navonil Majumder, Soujanya Poria
精选
该研究指出，用 LLM 作为裁判来评估科学问题的新颖性存在严重缺陷。作者构建了 RQ-Bench 基准，基于 arXiv 论文提取作者锚定的研究问题，并与模型生成的问题进行对比。实验发现，LLM 裁判一致高估模型生成问题的新颖性，产生“新颖性幻象”，而领域专家则得出相反结论。此外，模型生成的问题往往狭窄或受限于源材料，LLM 裁判难以察觉。该结果对依赖 LLM 进行科学新颖性评估的可靠性提出严重质疑。
论文LLM评估科学新颖性RQ-Bench
推荐理由：做科学创新评估或使用 LLM 辅助审稿的团队，这篇论文揭示了 LLM 裁判的盲区——它可能高估新颖性，导致误判。建议点开了解 RQ-Bench 的测试方法，避免在关键评估中踩坑。
原文