pass@k 相关 AI 资讯 · AI 热点

7月2日

12:22

12:22

官方账号arXiv cs.LG@Michael Y. Li, Anthony Zhan, Kanishk Gandhi, Noah D. Goodman, Emily B. Fox

论文提出QuasiMoTTo，利用准蒙特卡洛（QMC）生成相关但边际分布正确的样本，替换传统的独立同分布（i.i.d.）采样，减少冗余。在四个推理基准上，QuasiMoTTo以25-47%更少的样本达到相同的pass@k准确率，甚至常饱和边际保持采样器的理论上限。应用于策略梯度强化学习（GRPO）时，QuasiMoTTo以50%更少的训练步骤匹配i.i.d.性能。研究者还开发了无偏bootstrap估计器以评估相关采样器的pass@k。

论文 QuasiMoTTo quasi-Monte Carlo pass@k GRPO 采样效率

推荐理由：这篇论文提出QuasiMoTTo，用相关采样替代独立采样，在推理和强化学习中大幅减少样本需求，效果显著。

6月25日

10:46

10:46

官方账号arXiv cs.LG@Andrei Liviu Nicolicioiu, Mohammad Pezeshki, Aaron Courville

一篇论文研究了基于采样示范的在线自蒸馏方法对输出多样性的影响。该方法通过单一模型同时作为教师和学生，教师以正确示范为条件提供密集的token级反馈，在pass@1准确率上表现优异。但论文发现，这会导致推演多样性降低，pass@k曲线变平，即增加推演次数无法提升准确率。作者将原因追溯到自蒸馏设计中的复合偏差：教师在对学生推演评分时以采样到的正确推演为条件，通过模型自身偏见传导反馈。在可控的图路径发现任务和科学问答基准上，自蒸馏模型在平均性能上与强化学习相当或更优，但功能和语义多样性显著下降，在需要多样化策略的分布外场景中失败。

论文 self-distillation 强化学习输出多样性 pass@k 推理模型

推荐理由：这篇论文揭示了自蒸馏方法的一个隐藏缺陷：虽然准确率不错，但多样性会变差，导致复杂推理场景下失效。做RL或推理模型的人值得看看。