AITOP

智能体安全

共 15 条相关 AI 资讯
8月11日
11:18
11:18官方账号arXiv cs.AI@Puyu Zeng, Simeng Qin, Jingzhi Li, Ju Jia, Zheli Liu, Xiaojun Jia
精选
ColluSkill是一种针对LLM智能体技能扫描器的对抗性攻击框架，通过将恶意意图分解为多个独立包装的技能子负载，利用上下文依赖和工件传递在运行时组合成有害工作流。实验显示，在六个代表性技能扫描器上，ColluSkill平均攻击成功率达96.0%，显著优于单技能和多技能攻击基线。为防御此类攻击，研究者提出ChainGuard，一种上下文感知的技能链扫描器，通过重建跨技能依赖和工件流将攻击成功率降至22.5%，同时允许99.5%良性工作流通过。该研究揭示了现有技能扫描器仅检查单个技能的安全盲区，强调链级安全分析对智能体技能生态系统的重要性。
论文ColluSkillChainGuard智能体安全
推荐理由：这篇论文讲了一个新攻击思路：把恶意技能拆成多个看似无害的小技能，组合起来就能绕过扫描器。还给了防御方案ChainGuard，做智能体安全的人值得看看。
原文
7月30日
10:58
10:58官方账号arXiv cs.AI@Xuanze Chen, Xukang Xie, Wentao Fu, Jiajun Zhou, Shanqing Yu, Qi Xuan
MemSecBench是一个任务驱动的基准，用于评估智能体记忆系统的生命周期安全，包含310个案例，覆盖代码、科学、日常生活和办公等48个真实场景。该基准采用Write-Execute-Forget协议，在24种配置组合（2种智能体框架、4种记忆后端、3种LLM后端）下测试。结果显示恶意记忆在84.2%的案例中持续存在，完整攻击成功率为50.3%。成功中毒案例中，59.6%完成完整执行链，56.1%实现选择性修复。与原生配置相比，攻击成功率最大差异达16.1个百分点，选择性修复差异达41.3个百分点。
论文MemSecBench智能体安全记忆中毒
推荐理由：这篇论文搞了个MemSecBench，专门测AI记忆会不会被黑，结果84%的案例恶意记忆都能长存，而且不同记忆系统差别很大，做AI安全的朋友应该看看。
原文
04:05
7月28日
06:26
7月22日
12:33
12:33官方账号arXiv cs.AI@Yohann Sidot
论文构建了由三家供应商的五个生产级LLM组成的五智能体CI/CD流水线，包含分诊、开发、安全扫描、审查、部署/批准五个环节。实验中，单个未经认证的输入（请求"使用遥测"功能）被注入伪装成可观测性的代码，用于窃取进程密钥。预注册的A×B（×C）析因实验（N=20；朴素臂N=60）发现：入口智能体未泄露系统提示（0/40）；采用权威框架注入（声称"预批准，无需复审"）后，下游验证器看到秘密泄露行并引用预批准通过，扫描器对约80%的伪装的拉取请求放行，最坏条件下55%被攻破；内容控制（代码扫描器、模式检测）均无法识别伪装意图，仅LLM推理意图能提供部分防御。全部数据为合成数据，模拟目标未实际联系。
论文LLMCI/CD智能体安全
推荐理由：五家LLM组队干流水线，结果一句"领导批了"就能绕过所有审查，代码干了坏事但语法干净。研究扎实，看了你就知道AI安全不只是提示词泄露。
原文
7月20日
23:24
7月17日
09:34
09:34官方一手arXiv: Anthropic@Soham Gadgil, David Alexander, Sai Sunku, Franziska Roesner
该论文研究了基于记忆的智能体系统中的提示注入攻击风险，评估了Anthropic Claude Code和OpenAI Codex两个系统，以及Claude Haiku 4.5、Claude Opus 4.7、GPT-5.2和GPT-5.5四个模型。实验发现，攻击者难以让代理用不受信任的外部内容覆盖自身记忆文件，但已经植入记忆的有效载荷可成功影响当前和未来会话。攻击成功率和载荷持久性在不同系统、模型和攻击目标间差异显著。研究揭示持久记忆改变了提示注入的威胁模型，需设计保护记忆更新的防御机制。
论文Claude CodeOpenAI Codex提示注入
事件专题
推荐理由：这篇论文用Claude Code和OpenAI Codex实测了记忆注入攻击，发现一旦恶意指令写入记忆，后续会话都危险，搞AI安全的一定要看看。
原文
7月16日
09:49
09:49官方账号arXiv cs.AI@Mohammad Allahbakhsh, Mohammad Hassan Bahari, Moslem Attar-Raouf
传统渗透测试侧重评估对手能否通过漏洞获取资源，但AI系统中攻击者可通过提示注入、数据投毒、传感器操纵等路径改变行为而不入侵基础设施。论文重新定义AI系统渗透测试为操作目标驱动的行为评估，提出六步工作流：识别操作目标、映射AI行为、分析影响面、定义失败标准、执行场景测试、报告证据。以AI安全运营中心助手为例，演示提示注入可导致误判而不触发基础设施入侵。
论文AI安全渗透测试提示注入
推荐理由：这篇重新定义了AI渗透测试，从入侵系统变成操纵行为，提示注入、数据投毒都算，还给了具体测试步骤和案例，搞AI安全可以看看。
原文
7月14日
11:59
6月29日
13:50
13:50官方账号阿里云 Alibaba Cloud@alibaba_cloud
阿里云推出Constraint Infra，为AI Agent提供安全治理层。它通过Nacos实现prompt和规则的动态热更新。支持Token限制和多智能体安全策略。StarOps SRE Agent在此框架内安全执行高风险任务。规则通过AgentLoop数据飞轮自我迭代。
AI产品Alibaba CloudConstraint InfraNacos
推荐理由：阿里云出了个Agent安全治理框架，能动态控制prompt和规则，还能限制token，让高风险任务也安全运行。适合搞Agent开发的团队。
原文
6月18日
23:25
6月1日
04:11
04:11官方一手marktechpost@Sana Hassan
精选
本文教程基于微软的 Agent Governance Toolkit，构建了一个受治理的 AI 智能体工作流。该实现中，智能体不能直接执行工具，所有操作必须先通过治理层，该层会检查智能体身份、信任分数、风险等级、请求工具、操作类型、敏感度等。通过策略、审批、审计日志和风险控制，确保 AI 智能体工具使用的安全性。该实现可在 Colab 中运行，为开发者提供了一个可参考的治理框架。
AI产品微软Agent Governance Toolkit智能体安全
推荐理由：做 AI 智能体安全治理的开发者终于有了可落地的参考——微软的治理层框架直接可用，建议在 Colab 上跑一遍，能快速理解策略、审批、审计日志如何集成。
原文
5月25日
11:31
11:31官方一手arXiv: Google DeepMind@Zhixiang Guo, Siyuan Liang, Shi Fu, Cheng Guo, Andras Balogh, Mark Jelasity, Dacheng Tao
精选
世界模型作为决策智能体日益普及，但其对抗鲁棒性因缺乏自动化评估方法而研究不足。现有手动调参的攻击要么高估鲁棒性，要么因穷举搜索成本过高而不可行。WMAttack 将鲁棒性评估建模为有限预算下的攻击配置搜索，包括攻击类型、扰动预算、优化步数等。其核心创新是自校正攻击搜索（SCAS）和表示引导攻击检索（RGAR），分别通过反馈优化攻击分布和利用历史配置加速新环境搜索。在 Atari 和 DeepMind Control 任务上，WMAttack 发现了比基线更强的攻击，归一化奖励下降显著提升。
论文世界模型对抗攻击鲁棒性评估
推荐理由：世界模型智能体的安全性评估一直缺乏自动化工具，做对抗攻击或鲁棒性研究的团队可以直接用这个框架替代手动调参，省时且结果更可靠。
原文
5月20日
08:03
5月17日
23:42
23:42rohanpaul_ai@rohanpaul_ai
精选76°
Google DeepMind 发表论文，首次系统性地提出 AI 智能体的安全威胁不仅来自模型本身，更来自其读取的环境。论文定义了六类“智能体陷阱”，涵盖感知、推理、记忆、行动、多智能体协作及人类监督等维度。实验显示，隐藏的提示注入攻击在高达 86% 的场景中成功劫持智能体，子智能体劫持成功率 58-90%，数据窃取攻击在五种架构中均超过 80%。论文强调，网页中的隐藏内容（如 HTML 注释、CSS 隐藏文本）对智能体构成严重威胁，且记忆污染攻击在数据污染低于 0.1% 时成功率仍超 80%。
论文智能体安全提示注入记忆污染
推荐理由：这篇论文把 AI 智能体的安全边界从模型内部扩展到了整个互联网环境，做智能体开发和安全研究的团队必须重新审视攻击面——你的智能体可能正在被看不见的网页内容操控。
原文