8月11日
12:41
12:41官方账号arXiv cs.LG@Dongchi Huang, Hongyin Zhang, Bohan Hou, Siteng Huang, Zhian Su, Hang Guo, Tong Lu, Zhaofeng Xu, Jiahao Tang, Jianfei Yang, Donglin Wang, Peixi Peng, Mingxiu Chen, Deli Zhao, Xin Li
精选
RynnValue是一个开源的机器人操作价值基础模型,用时间距离替代偏好或进度作为监督信号,可从时间戳直接生成标签,无需额外标注。该模型在7000多小时、约300万条指令条件片段上训练,在RBM-EVAL-OOD基准上平均Kendall's tau_a达0.675,超过偏好监督的SOTA(0.655),并是仅进度监督基线(0.292)的两倍多。通过势能塑形转为稠密奖励后,RynnValue将真实世界策略成功率从52.5%提升至72.5%(在线),离线从63.8%提升至82.5%。
推荐理由:想搞机器人奖励模型但被标注烦死的看过来,RynnValue直接用时间戳当监督,不用偏好标注,效果还反超SOTA,成功率涨了20个点。