AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：提示注入×
6月16日
20:46
14:23
6月12日
12:57
12:49
6月11日
15:28
15:23
15:07
6月4日
18:17
18:17rohanpaul_ai@rohanpaul_ai
76°
Google DeepMind 最新论文首次系统分类了 6 种针对自主 AI 智能体的攻击类型，指出恶意网站可以检测到 AI 智能体并展示人类看不到的隐藏内容。这些攻击包括在 HTML 注释或白底白字文本中隐藏指令、图像像素隐写术、PDF 或元数据中的覆盖命令、跨会话持久化的记忆投毒、目标劫持以及多智能体设置中的级联攻击。论文强调，AI 智能体的真正安全问题不仅在于模型本身，更在于它所读取的环境——网络本身可以被武器化。在基准测试中，隐藏的提示注入在多达 86% 的场景中部分控制了智能体，子智能体劫持成功率 58-90%，数据外泄攻击在五种不同智能体架构中成功率超过 80%。
论文AI 智能体安全/攻击提示注入记忆投毒Google DeepMind
推荐理由：这篇论文戳破了「模型安全=一切安全」的幻觉，做自主智能体开发、RAG 系统或浏览器自动化工具的团队，建议认真看看攻击面到底在哪。
原文
5月27日
10:03
10:03shao__meng@shao__meng
精选76°
Anthropic 基于 Claude AI、Claude Code、Claude Cowork 三款产品的工程实践，总结了一套 Agent 安全实战经验。核心设计原则强调先环境层后模型层，隔离强度需匹配用户监督能力，警惕自建组件，出站白名单应视为能力授权。文章分析了用户误用、模型行为失当、外部攻击三种风险类型，并提出了环境层、模型层、外部内容层三层防御架构。通过真实攻击案例（如信任对话框前的代码执行漏洞、用户作为注入向量的钓鱼攻击、通过已批准域名的数据外泄），揭示了仅靠模型层无法防御用户本人指令，环境防御才是最后防线。未来风险方向包括持久化内存污染、多 Agent 信任升级和 Agent 身份问题。
行业Agent 安全沙箱隔离提示注入Claude CodeAnthropic
推荐理由：做 Agent 安全或开发 AI 产品的团队，这篇来自 Anthropic 的实战总结比任何理论都实在——三层防御架构和真实攻击案例能直接帮你避开坑，建议点开对照自己的隔离设计。
原文
5月17日
23:42
23:42rohanpaul_ai@rohanpaul_ai
精选76°
Google DeepMind 发表论文，首次系统性地提出 AI 智能体的安全威胁不仅来自模型本身，更来自其读取的环境。论文定义了六类“智能体陷阱”，涵盖感知、推理、记忆、行动、多智能体协作及人类监督等维度。实验显示，隐藏的提示注入攻击在高达 86% 的场景中成功劫持智能体，子智能体劫持成功率 58-90%，数据窃取攻击在五种架构中均超过 80%。论文强调，网页中的隐藏内容（如 HTML 注释、CSS 隐藏文本）对智能体构成严重威胁，且记忆污染攻击在数据污染低于 0.1% 时成功率仍超 80%。
论文智能体安全提示注入记忆污染攻击面Google DeepMind
推荐理由：这篇论文把 AI 智能体的安全边界从模型内部扩展到了整个互联网环境，做智能体开发和安全研究的团队必须重新审视攻击面——你的智能体可能正在被看不见的网页内容操控。
原文