从RLVR到RLSVR：任务变换让LLM自我改进用上自验证奖励

做 RLVR 训练的同学可以看看：当验证器只能判错不能判对时，这篇论文的 NOPO 干脆只用负样本更新策略，避免奖励投机解法。在代码、数学、逻辑基准上 pass@k 都跑赢了标准 RLVR 基线。

做 RLVR 训练的人该看看这篇。它指出 token 熵高其实是模型在乱说话，不是在探索，然后给了 VEPO 这个修法，在 MATH500 等六个数学基准上比 GRPO 准确率更高，还用统计检验验证了策略确实更多样。

训练 RL 模型时奖励只有一个数字，浪费了大量信息。这篇让教师模型自动写提示和策略当脚手架，四类任务全赢过普通 RL 基线，数学只用三分之一步数就超过 QuestA。做后训练的工程团队可以直接参考这套自动化方案。

GRPO 把答案奖励平均撒给每个 token，这篇论文改成按模型犹豫程度（top-2 概率差）分配信用，不用额外评估。在 MiniCPM5-2B 和 Qwen3-4B 上平均涨 6.55 分，pass@32 涨 13.8。做 RLVR 训练、想榨干小模型数学能力的人可以直接抄这套实现。

做模型训练的工程师应该翻翻这本，五个真实训练项目把踩过的坑全摊开了：奖励被钻空子、探索停滞、评估失真这些只会在实验里遇到的问题，书里都给了排查思路，比只看 GRPO 论文实用得多。

一篇教你离线 RLVR 该挑哪些回答、哪些 token 来训的论文，在 Qwen3-0.6B 的 GSM8K 上比七个基线都强，还省了三分之二的监督 token。