10:39
官方账号arXiv cs.LG@Vaidehi Bagaria, Nikshep Grampurohit, Pulkit Verma
精选
推荐理由：做VLA机器人强化学习的团队终于有了省算力的方案——PCM直接替换GRPO就能省60%内存、快2倍多，效果还不打折，建议做后训练优化的点开看看。
梯度加速
共 1 条相关 AI 资讯
5月18日
10:39
该论文发现GRPO算法在VLA策略强化学习中，梯度计算占78%时间，而大部分计算浪费在策略已掌握的阶段。为此提出概率性分块掩码（PCM），通过成功-失败动作方差识别关键阶段，仅对少量分块进行梯度更新。PCM无需额外奖励模型，在LIBERO基准上保持相同成功率的同时，实现2.38倍加速、4.8倍梯度更新加速和60%峰值内存降低。