精选理由
这篇论文提出了InSight框架,让机器人通过VLA模型自己学新技能,不用人教,就能搞定方块翻转、倒水这些操作,很有实用性。
InSight框架通过将VLA模型在原始动作层面变得可操控,从而解锁自主技能获取能力。该框架包含自动分割管道,利用VLM计划分解和末端执行器姿态将演示分割成带标签的原始动作,以及VLM引导的数据飞轮,自动识别缺失原始动作并尝试演示。在模拟和真实世界操作任务中(包括方块翻转、抽屉关闭、清扫、扭转、倒水)评估,无需任何人工演示即可学习这些技能。学到的原始动作可组合执行新颖的长周期任务,无需额外人工演示。
AI 翻译 · 中文
InSight框架通过将VLA模型在原始动作层面变得可操控,从而解锁自主技能获取能力。该框架包含自动分割管道,利用VLM计划分解和末端执行器姿态将演示分割成带标签的原始动作,以及VLM引导的数据飞轮,自动识别缺失原始动作并尝试演示。在模拟和真实世界操作任务中(包括方块翻转、抽屉关闭、清扫、扭转、倒水)评估,无需任何人工演示即可学习这些技能。学到的原始动作可组合执行新颖的长周期任务,无需额外人工演示。
Vision-language-action (VLA) models can learn manipulation skills from demonstrations, but their capabilities are bounded by the skills in the training data. We present InSight, a framework that unlocks autonomous skill …