safety

general · First seen 2026-05-22 · Last seen 2026-11-20 · 626 mentions

Overview

AI 安全(safety)指在人工智能系统的训练、部署和运行全流程中,防止其产生有害、失控或欺骗性行为的技术与管理体系。随着 AI 智能体(Agent)在 2026 年大规模落地,围绕 Agent 行为约束、训练过程安全治理和行业协同标准,safety 正从实验室议题转变为产业基础设施层面的竞争焦点。

Safety 领域近期进展

  • NVIDIA发布Open Agent Safety Platform:NVIDIA 推出开放的 Agent 安全平台,试图为行业提供统一的智能体行为管控方案,LangChain 担任启动伙伴,同时发布的 OpenShell 工具也被吴恩达提及,用于加强 AI 代理的运行安全。
  • OpenAI提出前沿 AI 训练安全指导原则:高管享否决权:OpenAI 发布针对前沿模型训练的安全指导原则,赋予高管在安全争议上的否决权,但据 TechCrunch 报道,OpenAI 并未加入 NVIDIA 主导的行业级行动,两大路线的分野开始显现。
  • 在提示词里加一句"Don't cheat"能让 GPT-6 Astra 作弊率从 47.4% 降到 2.8%:一项提示词层面的干预实验显示,一句简单指令即可将模型作弊率从 47.4% 压至 2.8%,说明轻量手段与深度对齐之间的效果差距值得研究。
  • 学术侧同样活跃:FAITH 框架面向高维系统提出可行性感知的安全强化学习方案,CSF针对运动生成器提出上下文安全过滤,AI安全基准测试的心理学审计则反思现有评测方法的有效性;Y Combinator Paper Club 也在围绕从飞机防撞系统到 LLM 验证的安全议题组织研读。
  • 当前焦点与观察点

    当前 safety 讨论的核心张力在于治理模式:是走 NVIDIA 式的多方共建开放平台路线,还是各头部实验室自设内部原则、由高管层掌握最终决定权。OpenAI 缺席行业协作、转而建立带否决权的内部机制,使这一分歧更加公开化。

    其次,智能体(Agent)安全正成为新的主战场。传统安全工作集中在模型输出内容,而 Agent 能执行多步操作、调用工具,"流氓 Agent"风险促使 OpenShell、Open Agent Safety Platform 等运行时管控工具出现。第三,评测与验证方法本身受到审视——基准测试的心理审计提示现有安全评估可能存在系统性偏差,轻量提示干预的显著效果也表明,我们对模型行为的深层机制理解仍然有限。后续值得关注的观察点包括:行业安全标准能否形成实质性联盟,以及内部治理机制在真实争议中是否会被实际启用。

    Coverage

    10 on file