AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：测试时改进×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
5月29日
11:08
11:08arXiv cs.AI@Chen Henry Wu, Aditi Raghunathan
精选83°
论文提出自训练验证（STV）方法，解决推理模型在测试时验证-精炼循环和训练时自训练中验证器失效的瓶颈。核心发现是模型单独无法捕捉自身错误，但看到参考答案后可以，利用这一不对称性训练验证器模仿更知情版本。STV在困难数学题上准确率翻倍，科学推理任务从1.5%提升至21%。结合验证器在循环中的强化学习（ViL），使pass@1再提升33%，且生成器独立推理能力也超越标准RL收敛点。这表明推理模型的下一个前沿在于如何训练验证及利用验证。
论文推理模型自训练验证测试时改进强化学习验证器
推荐理由：推理模型开发者长期受困于验证器失效导致自改进停滞，STV用参考答案不对称性巧妙破解，在困难数学和科学任务上效果显著，做自训练或测试时搜索的团队值得深入看。
原文