AI 安全(safety)指在人工智能系统的训练、部署和运行全流程中,防止其产生有害、失控或欺骗性行为的技术与管理体系。随着 AI 智能体(Agent)在 2026 年大规模落地,围绕 Agent 行为约束、训练过程安全治理和行业协同标准,safety 正从实验室议题转变为产业基础设施层面的竞争焦点。
Safety 领域近期进展
当前焦点与观察点
当前 safety 讨论的核心张力在于治理模式:是走 NVIDIA 式的多方共建开放平台路线,还是各头部实验室自设内部原则、由高管层掌握最终决定权。OpenAI 缺席行业协作、转而建立带否决权的内部机制,使这一分歧更加公开化。
其次,智能体(Agent)安全正成为新的主战场。传统安全工作集中在模型输出内容,而 Agent 能执行多步操作、调用工具,"流氓 Agent"风险促使 OpenShell、Open Agent Safety Platform 等运行时管控工具出现。第三,评测与验证方法本身受到审视——基准测试的心理审计提示现有安全评估可能存在系统性偏差,轻量提示干预的显著效果也表明,我们对模型行为的深层机制理解仍然有限。后续值得关注的观察点包括:行业安全标准能否形成实质性联盟,以及内部治理机制在真实争议中是否会被实际启用。