行业精选76°

Anthropic 实战总结:Claude AI/Code/Cowork 的 Agent 安全三层防御

基于 Claude AI、Claude Code、Claude Cowork 三款产品工程实践对 Agent 安全的实战总结 https://t.co/hiIlCoXkcY 核心设计原则放在最前面 ...

精选理由

做 Agent 安全或开发 AI 产品的团队,这篇来自 Anthropic 的实战总结比任何理论都实在——三层防御架构和真实攻击案例能直接帮你避开坑,建议点开对照自己的隔离设计。

AI 摘要

Anthropic 基于 Claude AI、Claude Code、Claude Cowork 三款产品的工程实践,总结了一套 Agent 安全实战经验。核心设计原则强调先环境层后模型层,隔离强度需匹配用户监督能力,警惕自建组件,出站白名单应视为能力授权。文章分析了用户误用、模型行为失当、外部攻击三种风险类型,并提出了环境层、模型层、外部内容层三层防御架构。通过真实攻击案例(如信任对话框前的代码执行漏洞、用户作为注入向量的钓鱼攻击、通过已批准域名的数据外泄),揭示了仅靠模型层无法防御用户本人指令,环境防御才是最后防线。未来风险方向包括持久化内存污染、多 Agent 信任升级和 Agent 身份问题。

AI 翻译 · 中文

Anthropic 基于 Claude AI、Claude Code、Claude Cowork 三款产品的工程实践,总结了一套 Agent 安全实战经验。核心设计原则强调先环境层后模型层,隔离强度需匹配用户监督能力,警惕自建组件,出站白名单应视为能力授权。文章分析了用户误用、模型行为失当、外部攻击三种风险类型,并提出了环境层、模型层、外部内容层三层防御架构。通过真实攻击案例(如信任对话框前的代码执行漏洞、用户作为注入向量的钓鱼攻击、通过已批准域名的数据外泄),揭示了仅靠模型层无法防御用户本人指令,环境防御才是最后防线。未来风险方向包括持久化内存污染、多 Agent 信任升级和 Agent 身份问题。

shao__meng基于 Claude AI、Claude Code、Claude Cowork 三款产品工程实践对 Agent 安全的实战总结 anthropic.com/engineering/ho… 核心设计原则放在最前面 · 先环境层,后模型层 — 确定性边界是最后防线 · 隔离强度匹配用户监督能力 — 开发者能理解 bash,知识工作者不能 · 警惕自建组件 — 优先使用久经考验的标准隔离原语 · 出站白名单应视为能力授权,而非目的地过滤 — 每