AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：前瞻推理×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月2日
11:12
11:12arXiv cs.AI@Lichao Wang, Zhaoxing Ren, Tianzhuo Yang, Jiaming Ji, Chi Harold Liu, Yaodong Yang, Juntao Dai
SafeMCP 是一个服务器端防御插件，针对 LLM Agent 使用 MCP 协议时因动作空间扩大带来的安全风险。它通过内部世界模型进行前瞻推理，实现两层防御：主动工具过滤限制危险权限扩展，以及即时干预作为故障安全机制。训练采用三阶段流程：环境动态基础、安全策略初始化和带双重可验证奖励的强化学习。在 PowerSeeking Bench、ToolEmu 和 AgentHarm 上的实验表明，SafeMCP 能在降低风险的同时保持 Agent 的实用性。
论文MCP/工具LLM Agent安全防御前瞻推理强化学习
推荐理由：做 LLM Agent 安全防护的团队终于有了一个可落地的方案——SafeMCP 在服务器端用前瞻推理主动过滤危险工具调用，比事后审计更有效，建议关注其开源实现。
原文