近期围绕“控制”这一关键词,业界在AI模型的行为控制、系统控制以及强化学习的控制机制上出现了多项重要进展。
主要进展
1. 模型行为控制:System Message权重与缓存机制差异
OpenAI与Anthropic在系统提示(system message)的实现上存在根本差异:OpenAI将系统消息作为单独序列处理,权重更高;而Anthropic则将其与用户消息合并,权重较低。此外,两者在缓存机制上的设计也不同,这影响了长上下文场景下的行为可控性。(OpenAI vs Anthropic:System消息权重与缓存机制差异)
2. 推理控制:Claude Opus 4.8新增effort control功能
Anthropic推出Claude Opus 4.8,新增“effort control”能力,允许用户通过指定推理预算(如令牌数)来调节模型在逻辑推理中的资源投入,从而在速度与精度之间取得平衡。(Claude Opus 4.8 上线,新增 effort control 功能)
3. 系统控制:LangChain发布Mission Control用于K8s部署运维
LangChain推出Mission Control,这是一个针对Kubernetes环境自托管LangSmith实例的部署与运维工具,旨在简化LLM应用在生产环境中的管理与控制。(LangChain 发布 Mission Control:K8s 内自托管 LangSmith 的部署与运维工具)
4. 控制理论新方法:Reflex利用反射对称性提升强化学习效率
OpenAI提出Reflex算法,通过引入反射对称性(reflection symmetry)来约束策略探索空间,从而在稀疏奖励环境下显著提升强化学习的样本效率。(Reflex:利用反射对称性提升强化学习样本效率)
5. 对抗控制:WMAttack框架攻击世界模型智能体
Google DeepMind提出WMAttack,这是一个面向世界模型智能体的自动化对抗攻击搜索框架,能够找到高危害性的对抗例,暴露基于世界模型的规划与控制系统的脆弱性。(WMAttack:世界模型智能体的自动化对抗攻击搜索框架)
6. 人机控制:iOS 27语音控制支持自然语言操作
苹果预告iOS 27的辅助功能,语音控制将允许用户通过自然语言命令执行复杂操作,如“打开邮件”,无需记住预设指令,进一步降低交互门槛。(苹果预告 iOS 27 辅助功能,语音控制支持自然语言操作)
7. 强化学习控制:Mind Dreamer主动干预潜变量
Google DeepMind提出Mind Dreamer,通过主动干预潜变量来打破历史束缚,在稀疏奖励场景下加速强化学习,为延迟控制信号问题提供新思路。(Mind Dreamer: 主动潜变量干预打破历史束缚,加速稀疏奖励强化学习)
8. 时序控制:时序分割模型的预测与控制能力
OpenAI介绍时序分割模型(Temporal Segment Models),该模型可对时间序列进行分解建模,在预测任务和控制策略学习上表现出色,尤其适用于非稳定环境。(时序分割模型的预测与控制)
当前焦点
从近期进展看,“控制”的讨论已从单纯的安全机制(如system message权重)扩展到推理层面的可调节投入(effort control)、系统层面的运维工具(Mission Control)、以及底层强化学习方法的创新(Reflex, Mind Dreamer)。值得注意的是,对抗攻击框架(WMAttack)的出现提示业界需关注世界模型控制系统的鲁棒性。同时,苹果的语音控制自然语言化预示人机交互控制正向更灵活、更以用户意图为中心的方向演进。