AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：智能体安全×
6月29日
13:50
6月18日
23:25
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月1日
04:11
04:11marktechpost@Sana Hassan
精选
本文教程基于微软的 Agent Governance Toolkit，构建了一个受治理的 AI 智能体工作流。该实现中，智能体不能直接执行工具，所有操作必须先通过治理层，该层会检查智能体身份、信任分数、风险等级、请求工具、操作类型、敏感度等。通过策略、审批、审计日志和风险控制，确保 AI 智能体工具使用的安全性。该实现可在 Colab 中运行，为开发者提供了一个可参考的治理框架。
AI产品微软Agent Governance Toolkit智能体安全治理框架Colab
推荐理由：做 AI 智能体安全治理的开发者终于有了可落地的参考——微软的治理层框架直接可用，建议在 Colab 上跑一遍，能快速理解策略、审批、审计日志如何集成。
原文
5月25日
11:31
11:31arXiv: Google DeepMind@Zhixiang Guo, Siyuan Liang, Shi Fu, Cheng Guo, Andras Balogh, Mark Jelasity, Dacheng Tao
精选
世界模型作为决策智能体日益普及，但其对抗鲁棒性因缺乏自动化评估方法而研究不足。现有手动调参的攻击要么高估鲁棒性，要么因穷举搜索成本过高而不可行。WMAttack 将鲁棒性评估建模为有限预算下的攻击配置搜索，包括攻击类型、扰动预算、优化步数等。其核心创新是自校正攻击搜索（SCAS）和表示引导攻击检索（RGAR），分别通过反馈优化攻击分布和利用历史配置加速新环境搜索。在 Atari 和 DeepMind Control 任务上，WMAttack 发现了比基线更强的攻击，归一化奖励下降显著提升。
论文世界模型对抗攻击鲁棒性评估自动化搜索智能体安全
推荐理由：世界模型智能体的安全性评估一直缺乏自动化工具，做对抗攻击或鲁棒性研究的团队可以直接用这个框架替代手动调参，省时且结果更可靠。
原文
5月20日
08:03
5月17日
23:42
23:42rohanpaul_ai@rohanpaul_ai
精选76°
Google DeepMind 发表论文，首次系统性地提出 AI 智能体的安全威胁不仅来自模型本身，更来自其读取的环境。论文定义了六类“智能体陷阱”，涵盖感知、推理、记忆、行动、多智能体协作及人类监督等维度。实验显示，隐藏的提示注入攻击在高达 86% 的场景中成功劫持智能体，子智能体劫持成功率 58-90%，数据窃取攻击在五种架构中均超过 80%。论文强调，网页中的隐藏内容（如 HTML 注释、CSS 隐藏文本）对智能体构成严重威胁，且记忆污染攻击在数据污染低于 0.1% 时成功率仍超 80%。
论文智能体安全提示注入记忆污染攻击面Google DeepMind
推荐理由：这篇论文把 AI 智能体的安全边界从模型内部扩展到了整个互联网环境，做智能体开发和安全研究的团队必须重新审视攻击面——你的智能体可能正在被看不见的网页内容操控。
原文