研究显示 RLVR 只是强化模型已有能力，并未带来新推理知识

一篇 arXiv 论文追踪了 OLMo-2-1B 在 RLVR 训练全部 13 个检查点上的内部变化。在 GSM8K 上，首次尝试准确率从 58.0% 升至 61.3%，但让模型作答 256 次后，解法覆盖率从 94.5% 升至 96.9%，说明解题知识在训练前就已存在。研究者向题目中植入推理错误并训练探针检测，13 个检查点、3 类错误下 AUROC 保持在 0.798-0.840，区间差异小于置信区间，即模型内部对错误的认识没有变。唯一可检测的内部变化出现在最终答案 token 处，区分早期与晚期检查点的探针 AUROC 达 0.93，而在实际推理步骤上接近随机。结论支持 sharpening 假说：RLVR 让模型优先采用最优解法路径，而非获得新推理能力。