采样效率相关 AI 资讯 · AI 热点

7月3日

04:00

04:00

Stanford AI Lab@StanfordAILab

精选

QuasiMoTTo是一种新的推理计算扩展方法，通过相关采样替代独立采样，避免重复发现相同解。该方法样本覆盖率更高，且保持边缘精确的LLM分布。实验显示，在测试时扩展中，仅需25-47%的样本即可达到相同性能；在强化学习训练中，减少50%的步骤。该研究由斯坦福大学团队完成，探索了相关采样器的设计空间。

AI模型 QuasiMoTTo 斯坦福推理计算相关采样采样效率

推荐理由：发新论文了，斯坦福团队搞的QuasiMoTTo，不用独立采样浪费算力，相关采样省25-47%样本，训练步骤也砍半。做推理扩展的可以看看。

7月2日

12:22

12:22

官方账号arXiv cs.LG@Michael Y. Li, Anthony Zhan, Kanishk Gandhi, Noah D. Goodman, Emily B. Fox

论文提出QuasiMoTTo，利用准蒙特卡洛（QMC）生成相关但边际分布正确的样本，替换传统的独立同分布（i.i.d.）采样，减少冗余。在四个推理基准上，QuasiMoTTo以25-47%更少的样本达到相同的pass@k准确率，甚至常饱和边际保持采样器的理论上限。应用于策略梯度强化学习（GRPO）时，QuasiMoTTo以50%更少的训练步骤匹配i.i.d.性能。研究者还开发了无偏bootstrap估计器以评估相关采样器的pass@k。

论文 QuasiMoTTo quasi-Monte Carlo pass@k GRPO 采样效率

推荐理由：这篇论文提出QuasiMoTTo，用相关采样替代独立采样，在推理和强化学习中大幅减少样本需求，效果显著。

5月19日

10:02

10:02

官方账号arXiv cs.AI@Chenrui Ma, Xi Xiao, Lin Zhao, Tianyang Wang, Ferdinando Fioretto, Yanning Shen

精选

Drift Flow Matching (DFM) 提出了一种新框架，将高效的 Drift 模型（单步生成）与 Flow Matching（多步迭代生成）结合起来。DFM 保留了直接传输映射的效率，同时允许通过多步推理来优化生成质量，从而在计算成本与生成质量之间灵活权衡。实验表明，DFM 在多个任务和数据集上均有效，为生成模型提供了新的自适应采样范式。

论文生成模型 Flow Matching Drift 模型推理扩展采样效率

推荐理由：做生成模型研究的开发者终于有了一个既能高效单步生成、又能按需多步精调的框架——DFM 解决了 Drift 模型缺乏推理扩展性的痛点，值得关注其在不同场景下的灵活应用。