精选理由
斯坦福团队搞了个新框架,不用传统评分,用细粒度验证加logprob分布,直接刷了四个Agent基准的SOTA,还能顺便提升RL效率。
斯坦福AI实验室提出LLM-as-a-Verifier框架,通过细粒度评分(1-20级代替1-5级)、logprob分布期望、重复评估和标准分解等方法,提升验证扩展效果。在Terminal-Bench V2、SWE-Bench Verified、RoboRewardBench和MedAgentBench四个Agent基准上取得SOTA。细粒度信号还可用于测试时扩展、强化学习和Agent监控,提高样本效率。
AI 翻译 · 中文
斯坦福AI实验室提出LLM-as-a-Verifier框架,通过细粒度评分(1-20级代替1-5级)、logprob分布期望、重复评估和标准分解等方法,提升验证扩展效果。在Terminal-Bench V2、SWE-Bench Verified、RoboRewardBench和MedAgentBench四个Agent基准上取得SOTA。细粒度信号还可用于测试时扩展、强化学习和Agent监控,提高样本效率。
Verification has emerged as a new scaling axis 🚀 LLM-as-a-Verifier shows that scaling verification can push performance to SOTA across Terminal-Bench V2, SWE-Bench Verified, RoboRewardBench, and MedAgentBench. Its fine-…