CoorDex: 协调身体与手部先验实现连续灵巧人形移动操作

CoorDex: Coordinating Body and Hand Priors for Continuous Dexterous Humanoid Loco-Manipulation

精选理由

CoorDex让人形机器人在行走时用灵巧手完成开冰箱、抓瓶子的连续操作,不再需要走走停停,和之前的笨拙模式完全不一样。

AI 摘要

CoorDex是一个学习管线,将高维全身和灵巧手控制转换为协调的潜在残差控制,使Unitree G1人形机器人搭配20-DoF WUJI手能在移动中执行灵巧操作。它从模拟全身和手部演示训练特权运动跟踪教师,蒸馏为潜在先验,再用残差强化学习训练协调策略。该方法实现了非停止的瓶子抓取搬运、移动中打开冰箱门和立方体旋转。消融实验表明,联合空间PPO、联合空间手控制和整体潜在预测在同一奖励预算下均失败。

AI 翻译 · 中文

CoorDex是一个学习管线,将高维全身和灵巧手控制转换为协调的潜在残差控制,使Unitree G1人形机器人搭配20-DoF WUJI手能在移动中执行灵巧操作。它从模拟全身和手部演示训练特权运动跟踪教师,蒸馏为潜在先验,再用残差强化学习训练协调策略。该方法实现了非停止的瓶子抓取搬运、移动中打开冰箱门和立方体旋转。消融实验表明,联合空间PPO、联合空间手控制和整体潜在预测在同一奖励预算下均失败。

arXiv cs.AIHumanoid loco-manipulation is often simplified into a stop-and-go process: walking to an object, stopping to manipulate it, and then resuming locomotion. It also commonly relies on low degree-of-freedom (DoF) end effecto