10:02
官方账号arXiv cs.LG@Nhat Minh Pham, Duy Tung Doan, Thi Duyen Ngo, Vinh Van Nguyen, Khac-Hoai Nam Bui
精选
推荐理由：RL 训练嫌生成太慢？SpecRoll 用投机解码给 rollout 提速，不改采样分布，五个模型跑数学推理端到端快 1.2 倍以上，代码也开源了。
SpecRoll
共 1 条相关 AI 资讯
8月6日
10:02
SpecRoll 是一种用于强化学习 rollout 的投机解码引擎，面向大规模语言模型后训练。它用轻量级未来 token 头生成并行提议，并通过 Reflex 模块做轨迹局部的隐藏状态修正，无需反向传播。在 1.5B 到 14B 的五个模型和三个数学推理数据集上，SpecRoll 相比原始 GRPO 取得 1.26-2.15 倍生成加速和 1.21-2.04 倍端到端加速。在全部 15 组匹配设置中，SpecRoll 的平均端到端耗时比 FastGRPO 快 1.18 倍。源码已公开。