QuasiMoTTo 相关 AI 资讯 · AI 热点

7月3日

04:00

04:00

Stanford AI Lab@StanfordAILab

精选

QuasiMoTTo是一种新的推理计算扩展方法，通过相关采样替代独立采样，避免重复发现相同解。该方法样本覆盖率更高，且保持边缘精确的LLM分布。实验显示，在测试时扩展中，仅需25-47%的样本即可达到相同性能；在强化学习训练中，减少50%的步骤。该研究由斯坦福大学团队完成，探索了相关采样器的设计空间。

AI模型 QuasiMoTTo 斯坦福推理计算相关采样采样效率

推荐理由：发新论文了，斯坦福团队搞的QuasiMoTTo，不用独立采样浪费算力，相关采样省25-47%样本，训练步骤也砍半。做推理扩展的可以看看。

7月2日

12:22

12:22

官方账号arXiv cs.LG@Michael Y. Li, Anthony Zhan, Kanishk Gandhi, Noah D. Goodman, Emily B. Fox

论文提出QuasiMoTTo，利用准蒙特卡洛（QMC）生成相关但边际分布正确的样本，替换传统的独立同分布（i.i.d.）采样，减少冗余。在四个推理基准上，QuasiMoTTo以25-47%更少的样本达到相同的pass@k准确率，甚至常饱和边际保持采样器的理论上限。应用于策略梯度强化学习（GRPO）时，QuasiMoTTo以50%更少的训练步骤匹配i.i.d.性能。研究者还开发了无偏bootstrap估计器以评估相关采样器的pass@k。

论文 QuasiMoTTo quasi-Monte Carlo pass@k GRPO 采样效率

推荐理由：这篇论文提出QuasiMoTTo，用相关采样替代独立采样，在推理和强化学习中大幅减少样本需求，效果显著。