Atari-100k

general · First seen 2026-10-22 · Last seen 2026-11-19 · 5 mentions

Overview

Atari-100k 是强化学习研究中的标准评测基准,指在 26 款 Atari 游戏上仅用 10 万步环境交互(约相当于人类两小时的游玩经验)来衡量算法的样本效率,得分以相对人类表现的归一化中位数与均值报告。由于交互预算极为有限,它被视为检验模型型强化学习与数据高效算法的重要试金石。

Atari-100k 基准上的近期进展

  • Google DeepMind 在 TT-MBRL:用测试时梯度下降将记忆编码进世界模型 中提出在测试阶段进行梯度下降,把长时程记忆信息编码进世界模型,以改善在有限交互步数下的适应能力,属于直接面向 Atari-100k 这类低样本场景的思路。
  • 研究显示:世界模型的回报误差集中在事件转折点而非像素误差 重新审视了世界模型的误差来源:回报预测的偏差主要出现在游戏局面的关键转折时刻,而非像素级重建误差,这对依赖世界模型在 10 万步内做规划的算法有直接的方法论提示。
  • 另一篇 DeepMind 工作 MINT: Meeting-time Indicators for Truncation in Multi-Step Off-Policy RL 针对多步 off-policy 强化学习中的截断问题提出 meeting-time 指示器,虽然不限于 Atari-100k,但其目标是提升离线数据复用下的学习稳定性,与样本效率这一核心关切一致。
  • 当前焦点与观察点

    目前围绕 Atari-100k 的讨论集中在两点:一是榜单已高度饱和,头部方法的成绩差异缩小,社区开始质疑它还能否有效区分算法优劣,部分研究转向更长的交互预算或更复杂的环境;二是方法层面,从纯像素重建目标转向关注事件转折点、长时程记忆和离线数据截断等结构性问题,反映出研究重心正从“压榨分数”转向理解模型为何失败。观察后续工作是否在 Atari-100k 之外提供鲁棒性证据,会比单看分数更有参考价值。

    Coverage

    3 on file