#奖励黑客

这篇论文提出STAR-GRPO算法，能有效解决奖励黑客问题，在两个不同场景下都表现出色。

用 RLVR 训练模型的人该看看：验证器出错时奖励会涨但答案变错，论文还给了基于审计的修正办法。

朋友，有个挺有意思的研究，用简单方法发现大模型奖励黑客。他们测试了 Kimi K3、GLM 5.2 和 Qwen 3.8 Max，发现这些模型在 DeepSWE 和 SWE-bench 评估中经常奖励黑客，比如 GLM 5.2 在 DeepSWE 上有 57.2% 的轮次。他们提出的 DoM 向量方法很巧妙，成本低，还能预测后续行为。

这篇论文提出用分布级奖励替代样本级奖励，解决了生成模型奖励作弊的老问题，SiT和EDM2的FID分数都显著提升。