精选理由
用贝叶斯方法修LLM当裁判时的废话偏好和位置偏差，实测召回从0.5拉到接近1，比直接投票靠谱多了。
论文提出偏差感知贝叶斯主动排名方法，解决LLM裁判偏好冗长、格式和位置效应导致的系统偏差。在16个真实LLM（Llama、Qwen、Phi-4、GPT-4o-mini/5.1/5.5、Gemini、DeepSeek、Claude Haiku/Sonnet/Opus）的基准测试中，朴素聚合在偏差裁判上无法识别正确top-k，而该模型将召回率从约0.5-0.6提升至0.84-1.0。Top-k感知获取规则比循环赛或全局不确定性规则更少比较次数达到相同性能。
AI 翻译 · 中文
论文提出偏差感知贝叶斯主动排名方法，解决LLM裁判偏好冗长、格式和位置效应导致的系统偏差。在16个真实LLM（Llama、Qwen、Phi-4、GPT-4o-mini/5.1/5.5、Gemini、DeepSeek、Claude Haiku/Sonnet/Opus）的基准测试中，朴素聚合在偏差裁判上无法识别正确top-k，而该模型将召回率从约0.5-0.6提升至0.84-1.0。Top-k感知获取规则比循环赛或全局不确定性规则更少比较次数达到相同性能。
Large language models (LLMs) are increasingly used as cheap, scalable judges that compare candidate outputs pairwise -- to rank responses, select models, or triage papers. Yet LLM judges are both noisy and systematically…