采样理论相关 AI 资讯 · AI 热点

8月22日

02:08

02:08

lmarena.ai@lmarena_ai

精选

标准推理时间采样方法如拒绝采样和best-of-n在长时间生成中可能导致灾难性错误，即使验证器几乎完美。@AShettyV提出了VGB（价值引导回溯）方法，这是一种基于采样理论的更稳健的解决方案。观看完整技术演讲：https://youtu.be/4ENfuTjOb-U 💬 2 🔄 1 ❤️ 14 👀 4772 📊 3 ⚡

论文 VGB方法采样理论推理时间采样

推荐理由：@AShettyV提出VGB方法，解决标准采样方法在长时间生成中的问题，更稳健。想了解更详细的技术分析吗？快去看看吧！

6月23日

13:22

13:22

官方账号arXiv cs.LG@Changxiao Cai, Yuchen Jiao, Gen Li

该论文证明扩散模型在低维数据结构下自适应采样的鲁棒性，对于宽泛的更新系数，仅需O(k/ε)步迭代即可生成TV距离ε准确的样本，且与数据环境维度无关。该结果显著扩展了已知具有低维适应性的扩散采样器类别，并适用于多种常用实践方法。研究为扩散采样器在不同系数选择下处理结构化高维数据时的经验有效性提供了理论支撑。

论文扩散模型采样理论低维结构

推荐理由：这篇论文告诉你：扩散模型采样快慢不挑超参数，只需O(k/ε)步就能出高质量样本，环境维度再高也不怕。

5月25日

09:57

09:57

官方账号arXiv cs.LG@Meysam Alishahi, Alexander Munteanu, Simon Omlor, Jeff M. Phillips

该论文证明了对于一大类Lipschitz连续分类损失函数（包括逻辑损失、sigmoid损失、hinge损失和ReLU损失），在多种正则化项下可实现(1±ε)相对误差的最优采样界。对于L2/k正则化，采样复杂度为k²/ε²；对于L1/k正则化，为k/ε²；对于L2²/k正则化，若损失函数满足有界导数性质，则复杂度为线性k，否则为k²/ε²。研究还表明，若g(0)=0，则无法实现无维度采样界。所有上界均有匹配的下界（至多对数因子）。该工作通过更精细的高阶矩和经验过程分析，改进了近期Alishahi和Phillips的k³/ε²灵敏度采样界，且仅需简单均匀或（平方）范数采样。

论文采样理论正则化分类 Lipschitz损失

推荐理由：这篇论文为分类任务中的采样提供了理论最优界，做机器学习理论或大规模分类算法的研究者可以直接参考其采样策略，避免不必要的计算开销。