#智能体安全

教你在 MCP 环境里用小模型逐条校验 Agent 的每次工具调用，用了 GRPO 加微调，安全审计方向可以看看思路。

这篇论文搞了个MemSecBench，专门测AI记忆会不会被黑，结果84%的案例恶意记忆都能长存，而且不同记忆系统差别很大，做AI安全的朋友应该看看。

Perplexity 把自家用的智能体安全工具 Numbat 开源了，能实时监控并阻止智能体干坏事，搞 AI Agent 的朋友可以看看。

官方账号NVIDIA AI@NVIDIAAI11 个信源在谈原文

五家LLM组队干流水线，结果一句"领导批了"就能绕过所有审查，代码干了坏事但语法干净。研究扎实，看了你就知道AI安全不只是提示词泄露。

这篇论文用Claude Code和OpenAI Codex实测了记忆注入攻击，发现一旦恶意指令写入记忆，后续会话都危险，搞AI安全的一定要看看。

这篇重新定义了AI渗透测试，从入侵系统变成操纵行为，提示注入、数据投毒都算，还给了具体测试步骤和案例，搞AI安全可以看看。

想了解如何自动化挖Claude Code和Codex的漏洞？这篇论文提出了AHA方法，比现有方法强14%，还能跨场景复用。搞智能体安全的值得看。

DeepMind提醒大家，别等智能体满世界跑了才考虑安全，趁现在赶紧把规则定好。

官方账号Google DeepMind@GoogleDeepMind原文

智能体安全是当前 AI 落地的核心瓶颈，OpenAI 的 Codex 方案将安全控制嵌入开发流程，做 AI 应用开发的团队值得关注这一方向。

官方账号Greg Brockman@gdb11 个信源在谈原文