技巧

PewDiePie 分享后训练环境任务踩坑:先定截止时间再迭代

精选理由

PewDiePie 拍了期用 env 做后训练的视频,说自己老陷在生成任务数量不够的循环里,Hugging Face 的 merve 也共鸣了,做 RL 训练的可以看看这条经验。

PewDiePie 发布了一期关于用环境(envs)做后训练的视频。视频里提到自己生成环境任务时常遇到任务数量过少的问题,反复重新生成又陷入无止境的迭代循环。Hugging Face 员工 merve 转发表示强烈共鸣。她给出的建议是必须给训练流程设定截止时间,避免无限打磨任务集。

原文 · Merve Noyan

when watching pewdiepie's post-training with envs video I resonated so bad

often times you generate env tasks yourself → notice how little number of tasks you have → generate again and it's an endless loop of trying to improve you have to put a deadline to your training