sampling

general · First seen 2026-05-22 · Last seen 2026-10-21 · 129 mentions

Overview

Sampling(采样)是从模型的概率分布中选取输出的核心步骤:在生成式 AI 中,它决定了大语言模型生成哪些 token、扩散模型如何从噪声逐步还原图像或文本,因而在质量、效率、成本乃至公平性上都处于关键位置。近期围绕采样方法的研究呈现出明显分化:一边是效率与效果优化,另一边则开始正视采样过程本身可能放大的系统性偏差。

采样技术的近期进展

  • 在扩散语言模型方向,扩散语言模型采样器会放大性别偏见,Fork-First Sampling 提出修复指出,扩散语言模型的采样器会放大性别偏见,并提出 Fork-First Sampling 作为修复手段。这说明采样策略不再只是“更快更准”的工程问题,也直接影响输出的社会属性。
  • 效率层面,OPPD 蒸馏法让模型单次生成即达 power sampling 64 候选的效果提出 OPPD 蒸馏方法,让模型单次生成即可达到 power sampling 生成 64 个候选的效果,相当于把多次采样的开销压缩进模型本身。
  • 图形领域同样引入了采样的思想:索尼 SIE 申请"生成式超采样"专利,用手柄输入预测生成插帧显示索尼 SIE 正申请一项“生成式超采样”专利,借助手柄输入预测生成插值帧,可视为采样在实时渲染中的一种工程化应用。
  • 教学与工程实践方面,Sasha Rush 发布了Sampling to Reinforce 无随机采样教程,探讨了无随机采样(deterministic sampling)在强化学习语境下的做法,反映从业者对采样随机性的关注正在超出传统温度、top-p 这类参数调优。
  • 当前焦点与观察点

    综合近期动态,采样研究有两个值得关注的走向。其一是“把采样成本内部化”:无论 OPPD 蒸馏替代多候选采样,还是索尼在游戏渲染中用预测式生成减少计算量,思路都是用一次性训练或额外结构换取推理时更少的采样次数。

    其二是采样与公平性的交叉。此前已有研究用贝叶斯多臂老虎机在线挑选兼顾准确率与公平性的分类器,而扩散语言模型采样器放大性别偏见的发现进一步表明,采样这一看似中性的统计过程可能系统性放大训练数据中的偏见。对于部署方来说,评估一个生成系统时,采样策略的选择或将成为与模型权重同等重要的审计对象。

    观察层面,可以留意两点:一是 Fork-First Sampling 这类修正方法能否被主流扩散语言模型采纳并验证其泛化性;二是确定性采样与随机采样在不同任务(推理、创意写作、代码生成)中的适用边界是否会更清晰。总体而言,采样正从“推理阶段的一个可调参数”演变为一个独立的研究与工程议题。

    Coverage

    10 on file