AITOP
精选
过去 24 小时，从 878 条中筛出 56 条
全部模型产品行业论文技巧
标签：LLM-as-Judge×
6月11日
15:28
15:23
15:07
12:11
12:11arXiv cs.AI@Soumitra Sinhahajari, Navonil Majumder, Soujanya Poria
精选
该研究指出，用 LLM 作为裁判来评估科学问题的新颖性存在严重缺陷。作者构建了 RQ-Bench 基准，基于 arXiv 论文提取作者锚定的研究问题，并与模型生成的问题进行对比。实验发现，LLM 裁判一致高估模型生成问题的新颖性，产生“新颖性幻象”，而领域专家则得出相反结论。此外，模型生成的问题往往狭窄或受限于源材料，LLM 裁判难以察觉。该结果对依赖 LLM 进行科学新颖性评估的可靠性提出严重质疑。
论文LLM评估科学新颖性RQ-BenchLLM-as-Judge研究问题生成
推荐理由：做科学创新评估或使用 LLM 辅助审稿的团队，这篇论文揭示了 LLM 裁判的盲区——它可能高估新颖性，导致误判。建议点开了解 RQ-Bench 的测试方法，避免在关键评估中踩坑。
原文
6月1日
00:09
5月29日
08:02
AITOP5月29日 08:02
Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？🔥Anthropic 把 AI 编程的“确认键”彻底删掉了！Claude Code 搭载全新 Opus 4.8 模型，长时间任务不跑偏、不废话、不中断，像一个资深工程师一样默默干活，从功能开发到漏洞清扫全包圆，你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”，现在它直接交完整交付物……自主编程的最后一层窗户纸，被捅破了。做自动化开发和代码审查的团队，这个模型建议直接上手，效率差距肉眼可见……Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？