12:04
官方账号arXiv cs.AI@Noam Koren, Roy Bar-Haim, Abigail Goldsteen
推荐理由：这篇论文教你如何判断一个评测集靠不靠谱，用LLM当裁判自动挑毛病，省人工还靠谱。
LLM评判
共 1 条相关 AI 资讯
8月7日
12:04
该研究提出一种无参考评估框架，利用LLM评判员从一致性、复杂度和策略覆盖三个维度检查对话代理基准质量。框架与独立人工标注结果吻合，并在不同能力LLM生成的基准及受控降质扰动的基准上验证了区分效果。实验表明该指标能稳定区分基准质量等级，且适用于手工精选基准。