AITOP
精选
过去 24 小时，从 904 条中筛出 49 条
全部模型产品行业论文技巧
标签：智能体安全×
6月11日
15:28
15:23
15:07
6月1日
04:11
04:11marktechpost@Sana Hassan
精选
本文教程基于微软的 Agent Governance Toolkit，构建了一个受治理的 AI 智能体工作流。该实现中，智能体不能直接执行工具，所有操作必须先通过治理层，该层会检查智能体身份、信任分数、风险等级、请求工具、操作类型、敏感度等。通过策略、审批、审计日志和风险控制，确保 AI 智能体工具使用的安全性。该实现可在 Colab 中运行，为开发者提供了一个可参考的治理框架。
AI产品微软Agent Governance Toolkit智能体安全治理框架Colab
推荐理由：做 AI 智能体安全治理的开发者终于有了可落地的参考——微软的治理层框架直接可用，建议在 Colab 上跑一遍，能快速理解策略、审批、审计日志如何集成。
原文
00:09
5月29日
08:02
AITOP5月29日 08:02
Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？🔥Anthropic 把 AI 编程的“确认键”彻底删掉了！Claude Code 搭载全新 Opus 4.8 模型，长时间任务不跑偏、不废话、不中断，像一个资深工程师一样默默干活，从功能开发到漏洞清扫全包圆，你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”，现在它直接交完整交付物……自主编程的最后一层窗户纸，被捅破了。做自动化开发和代码审查的团队，这个模型建议直接上手，效率差距肉眼可见……Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？
5月25日
11:31
11:31arXiv: Google DeepMind@Zhixiang Guo, Siyuan Liang, Shi Fu, Cheng Guo, Andras Balogh, Mark Jelasity, Dacheng Tao
精选
世界模型作为决策智能体日益普及，但其对抗鲁棒性因缺乏自动化评估方法而研究不足。现有手动调参的攻击要么高估鲁棒性，要么因穷举搜索成本过高而不可行。WMAttack 将鲁棒性评估建模为有限预算下的攻击配置搜索，包括攻击类型、扰动预算、优化步数等。其核心创新是自校正攻击搜索（SCAS）和表示引导攻击检索（RGAR），分别通过反馈优化攻击分布和利用历史配置加速新环境搜索。在 Atari 和 DeepMind Control 任务上，WMAttack 发现了比基线更强的攻击，归一化奖励下降显著提升。
论文世界模型对抗攻击鲁棒性评估自动化搜索智能体安全
推荐理由：世界模型智能体的安全性评估一直缺乏自动化工具，做对抗攻击或鲁棒性研究的团队可以直接用这个框架替代手动调参，省时且结果更可靠。
原文
5月17日
23:42
23:42rohanpaul_ai@rohanpaul_ai
精选76°
Google DeepMind 发表论文，首次系统性地提出 AI 智能体的安全威胁不仅来自模型本身，更来自其读取的环境。论文定义了六类“智能体陷阱”，涵盖感知、推理、记忆、行动、多智能体协作及人类监督等维度。实验显示，隐藏的提示注入攻击在高达 86% 的场景中成功劫持智能体，子智能体劫持成功率 58-90%，数据窃取攻击在五种架构中均超过 80%。论文强调，网页中的隐藏内容（如 HTML 注释、CSS 隐藏文本）对智能体构成严重威胁，且记忆污染攻击在数据污染低于 0.1% 时成功率仍超 80%。
论文智能体安全提示注入记忆污染攻击面Google DeepMind
推荐理由：这篇论文把 AI 智能体的安全边界从模型内部扩展到了整个互联网环境，做智能体开发和安全研究的团队必须重新审视攻击面——你的智能体可能正在被看不见的网页内容操控。
原文