LLM-as-a-Verifier 相关 AI 资讯 · AI 热点

7月10日

17:08

17:08

Stanford AI Lab@StanfordAILab

精选70°

斯坦福AI实验室提出LLM-as-a-Verifier框架，通过细粒度评分（1-20级代替1-5级）、logprob分布期望、重复评估和标准分解等方法，提升验证扩展效果。在Terminal-Bench V2、SWE-Bench Verified、RoboRewardBench和MedAgentBench四个Agent基准上取得SOTA。细粒度信号还可用于测试时扩展、强化学习和Agent监控，提高样本效率。

AI模型 LLM-as-a-Verifier 斯坦福AI实验室智能体基准测试

推荐理由：斯坦福团队搞了个新框架，不用传统评分，用细粒度验证加logprob分布，直接刷了四个Agent基准的SOTA，还能顺便提升RL效率。

7月7日

11:39

11:39

官方账号arXiv cs.AI@Jacky Kwok, Shulu Li, Pranav Atreya, Yuejiang Liu, Yixing Jiang, Chelsea Finn, Marco Pavone, Ion Stoica, Azalia Mirhoseini

LLM-as-a-Verifier通过计算评分token logits的期望生成连续分数，替代传统的离散评分方法。该框架从评分粒度、重复评估和准则分解三个维度缩放验证能力，在Terminal-Bench V2上达86.5%，SWE-Bench Verified上达78.2%，RoboRewardBench上达87.4%，MedAgentBench上达73.3%。其细粒度信号可用于任务进度估计和RL训练，在SAC和GRPO上提升样本效率。论文还提供了Claude Code扩展，帮助开发者监控代理系统。

论文 LLM-as-a-Verifier 验证框架智能体 SWE-Bench RL

推荐理由：这篇论文提出一种不依赖额外训练的验证框架，用连续分数替代离散评分，在四个agent基准上刷新了成绩，还顺手提升了RL样本效率。