Continuation 在当前 AI 语境下主要有两层含义:一是指推理服务中的延续生成机制,即在单次请求达到输出上限后,用 continuation tokens 接续上下文继续解码,从而突破单请求的 token 限制;二是指模型评估领域的 continuation 方法,即让模型接着真实前缀(如对话转录或思维链)继续生成,以此观察其在自然延续场景下的真实行为。两种用法都指向同一个核心思路:不改变模型本身,而是通过'接着往下走'的方式来扩展能力或暴露问题。
Continuation 近期进展
当前焦点与观察点
Continuation 相关技术目前呈现两条并行路线。工程侧的关注点是长输出场景的可用性:OpenRouter 的 1M tokens 输出上限和续写机制解决的是超长代码生成、长文档处理等任务中单请求截断的问题,实际效果还需看跨请求续写的连贯性与一致性是否稳定。
评估侧的关注点则是智能体行为审计。Continuation audits 的思路是用真实前缀替代人工构造场景,更贴近模型的实际使用分布,这与其他近期评估工作(如 Budget-Paired Counterfactual Audits、ComFair 多重属性公平性基准)共同反映出行业正从静态基准转向更贴近真实交互的过程性评估。值得观察的是,延续式测试揭示的'CoT 因果作用与题目难度相关'这一结论,可能影响未来对推理模型可解释性的评估设计。