Anthropic提出双用途知识的关闭开关

Jul 8, 2026 Alignment An off switch for dual use knowledge in AI models

精选理由

Anthropic研究了一个很实际的问题:怎么让AI知道太多危险东西时能随时关掉。不是只喊口号,有具体方法。

AI 摘要

Anthropic在2026年7月发布了一项关于AI双用途知识对齐的研究。研究提出了一种“关闭开关”机制,允许在推理时选择性地禁用模型中的危险知识。实验在生物和化学领域的多个安全基准上进行了评估。结果证明了该方法在降低恶意利用风险方面的有效性。

图片来源 · Anthropic: Research
AI 翻译 · 中文

Anthropic在2026年7月发布了一项关于AI双用途知识对齐的研究。研究提出了一种“关闭开关”机制,允许在推理时选择性地禁用模型中的危险知识。实验在生物和化学领域的多个安全基准上进行了评估。结果证明了该方法在降低恶意利用风险方面的有效性。

Anthropic提出双用途知识的关闭开关 · AI 热点