AITOP

模仿学习

共 7 条相关 AI 资讯
7月2日
11:07
11:07官方账号arXiv cs.AI@Chih-Han Yang, Dai-Jie Wu, Yun-Ping Huang, Ping-Chun Hsieh, Kenneth Marino, Shao-Hua Sun
提出语言批评模仿学习框架，利用自然语言作为结构化监督信号替代标量反馈。通过构建演示的语言标签，明确描述进度、识别次优行为并提供纠正指导。引入语言批评损失，实例化为LC-BC（行为克隆）和LC-DP（扩散策略）两种变体。理论证明该目标上界专家性能差距。在导航、操作和游戏等连续控制任务上，LC-BC和LC-DP优于强模仿学习和离线强化学习基线。
论文LC-BCLC-DP语言批评模仿学习模仿学习自然语言反馈
推荐理由：这篇论文教你用自然语言批评代替标量信号，从糟糕的演示中学更好，LC-BC和LC-DP在多个任务上都赢了。
原文
6月17日
10:46
6月15日
11:11
6月11日
11:04
11:04官方账号arXiv cs.AI@Adam Wei, Nicholas Pfaff, Thomas Cohn, Arif Kerem Dayı, Constantinos Daskalakis, Giannis Daras, Russ Tedrake
精选72°
机器人领域的高质量任务数据昂贵且难以收集，而次优数据（低质量或分布外演示）却大量存在。现有方法在同时训练两类数据时，常无法区分次优样本中的有用和有害特征。Ambient Diffusion Policy 通过引入噪声依赖的数据使用策略，仅在高和低扩散时间步利用次优数据，从而提取有用特征。该方法基于机器人动作数据的频谱幂律分布，利用全局到局部层次和局部性两个性质。在六项任务上，针对四种次优数据（噪声轨迹、仿真到现实差距、任务不匹配、大规模数据混合），该方法均有效，并在 Open X-Embodiment 数据集上比现有方法提升高达33%。
论文机器人模仿学习扩散策略次优数据Open X-Embodiment
推荐理由：机器人团队终于有了一个能高效利用次优数据的实用方法——Ambient Diffusion Policy 解决了低质量数据难以训练的问题，做机器人模仿学习的开发者可以直接在现有数据集上尝试，有望大幅降低数据收集成本。
原文
10:08
10:08官方账号arXiv cs.LG@Balázs Gyenes, Emiliyan Gospodinov, Jan Frieling, Enrico Krohmer, Nicolas Schreiber, Xiaogang Jia, Niklas Freymuth, Gerhard Neumann
精选
该研究提出将点云从笛卡尔空间映射到高维傅里叶空间，以解决神经网络在模仿学习中难以学习高频空间特征的问题。在 RoboCasa 和 ManiSkill3 基准测试以及真实机器人实验中，傅里叶特征显著提升了基于点云的策略在精细操控任务上的表现。该方法简单、鲁棒，且适用于多种编码器架构，有望成为点云模仿学习的通用工具。
论文模仿学习机器人操控点云傅里叶特征高频空间
推荐理由：做机器人操控和模仿学习的团队值得关注——傅里叶特征解决了神经网络对低频偏好的固有问题，让你在点云策略上直接获得高精度提升，代码和视频已开源，可以直接上手试。
原文
6月9日
12:33
12:33官方账号arXiv cs.LG@Quinn Pfeifer, Ethan Pronovost, Paarth Shah, Khimya Khetarpal, Siddhartha Srinivasa, Abhishek Gupta
精选
华盛顿大学团队提出 DARP（差异感知检索策略），一种半参数检索式模仿学习方法，通过重用在推理时的训练数据来缓解行为克隆的分布外泛化问题。DARP 不学习全局策略，而是基于专家演示的 k 近邻、对应动作及邻居与查询状态的相对距离向量来预测动作。该方法无需额外数据收集、在线专家反馈或任务特定知识，在连续控制和机器人操作等任务上比标准行为克隆提升 15-46%。代码和演示已开源。
论文模仿学习行为克隆检索增强机器人操作DARP
推荐理由：DARP 用检索替代全局映射，解决了行为克隆在部署时误差累积的痛点，做机器人学习和模仿学习的开发者可以直接参考其开源代码。
原文
5月18日
10:37
10:37官方账号arXiv cs.LG@Fateme Golivand, Michael Skinner, Saurabh Mathur, Ameet Soni, Phillip Reeder, Kristian Kersting, Lakshmi Raman, Sriraam Natarajan
精选
该研究将儿科ECMO（体外膜肺氧合）中的临床决策建模为从轨迹中学习行动的问题，即模仿学习，且行动并非直接观测。研究采用基于Transformer的TabPFN模型，与XGBoost、MLP等传统基线在真实儿科ECMO数据上对比。结果显示TabPFN方法在预测临床行动上持续优于传统模型，可作为儿科ECMO决策支持的强基线。这项工作解决了儿科重症监护中数据稀缺和高度复杂性的挑战，为AI辅助临床决策提供了新思路。
论文模仿学习儿科ECMO临床决策支持TabPFNTransformer
推荐理由：儿科重症团队终于有了一个能处理数据稀缺和高复杂性的AI基线——TabPFN在ECMO决策建模上超越传统方法，做临床决策支持系统的研究者可以直接拿来对比或集成。
原文