AITOPAI热报

DAgger

concept · First seen 2026-06-04 · Last seen 2026-10-21 · 21 mentions

Overview

DAgger（Dataset Aggregation，数据集聚合）是一种交互式模仿学习算法，由 Ross 等人于 2011 年提出，核心思想是让专家在策略自身执行的状态上标注动作，从而解决行为克隆中训练数据与实际执行分布不一致的协偏移问题。随着 VLA（视觉-语言-动作）模型进入机器人领域，DAgger 类的后训练方法近两年重新受到关注，成为连接人类演示与模型在线纠错的关键技术路线。

DAgger 在机器人后训练中的近期进展

  • 北京大学与 PrimeBot 推出 HIL-UMI，用手持夹爪采集机器人纠正数据：该工作将人类在环（Human-in-the-Loop）后训练引入 Universal Manipulation Interface，人手持夹爪在策略失败处直接给出纠正数据，等效于面向 VLA 模型的 DAgger 式数据聚合，且无需真实机器人参与数据采集。
  • HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface：论文系统阐述了如何借助 UMI 手持装置低成本执行交互式数据采集与模型迭代，降低机器人后训练门槛。
  • 交互式模仿学习何时有效：基于价值的表征权衡研究：从理论角度分析交互式模仿学习的适用条件，指出表征质量与专家干预成本之间存在权衡，为判断何时值得使用 DAgger 类方法提供依据。
  • DistIL：用分布化DAgger实现丰富反馈的强化学习：将 DAgger 的聚合思路推广到分布层面，把人类反馈纳入强化学习闭环，被视为模仿学习与 RL 结合的新尝试。

    • 当前焦点与观察点

    业界正在讨论机器人领域能否迎来类似 RLHF 的规模化后训练范式，DAgger 因其"人在环中纠错"的机制被视为候选方案之一，但争议点在于专家标注成本高、干预时机难以定义，以及在线采样的安全风险。理论工作（如上述基于价值的分析）也在回答"交互式模仿学习何时真的有效"。此外需注意名称歧义：全汉（FSP）的 DAGGER 系列电源与该算法无关，搜索时需结合上下文区分。后续可关注 HIL-UMI 类方法在真实家庭与工业场景中的复现效果，以及交互式数据聚合与强化学习的进一步融合。

    Coverage

    10 on file