AttnSR：用注意力分配步级奖励，提升长程智能体强化学习效果

论文提出 AttnSR，一种步级奖励增强方法，直接从策略模型在训练回放时的注意力图反推早期步骤对最终响应的相关性，无需单独训练奖励模型或额外 rollout。在 Qwen2.5-7B-Instruct 的受控实验中，AttnSR 在 ALFWorld 上将最终 held-out 成功率从 PPO 基线的 91.2% 提升到 97.1%，且在每个检查点都优于基线。在 ScienceWorld 上，AttnSR 在每个检查点均有提升，同时减少 29.9% 的环境交互次数。消融实验显示收益来自中间奖励的分配方式，而非简单的时间累积。