安全防御相关 AI 资讯 · AI 热点

7月30日

10:29

10:29

官方账号arXiv cs.AI@Hongliang Zhang, Zhongyuan Yu, Guijuan Wang, Tianqing He, Wenshuo Ma, Xiaosong Zhang, Jiguo Yu

FedDAB是一种两阶段防御方法，通过局部对比正则化和对齐检查来抵御联邦学习中的后门攻击。第一阶段在局部目标中添加模型对比项，增强良性更新的方向和幅度一致性；第二阶段利用整体方向对齐和参数级对齐检查历史信息，排除异常更新。理论证明收敛率为O(1/T)，实验表明FedDAB在多个基准上优于现有防御方法如CRFL和FLTrust。

论文 FedDAB 联邦学习后门攻击

推荐理由：FedDAB用两阶段方法检测恶意更新，比CRFL和FLTrust更有效，理论收敛有保证。

6月2日

11:12

11:12

官方账号arXiv cs.AI@Lichao Wang, Zhaoxing Ren, Tianzhuo Yang, Jiaming Ji, Chi Harold Liu, Yaodong Yang, Juntao Dai

SafeMCP 是一个服务器端防御插件，针对 LLM Agent 使用 MCP 协议时因动作空间扩大带来的安全风险。它通过内部世界模型进行前瞻推理，实现两层防御：主动工具过滤限制危险权限扩展，以及即时干预作为故障安全机制。训练采用三阶段流程：环境动态基础、安全策略初始化和带双重可验证奖励的强化学习。在 PowerSeeking Bench、ToolEmu 和 AgentHarm 上的实验表明，SafeMCP 能在降低风险的同时保持 Agent 的实用性。

论文 MCP/工具 LLM Agent 安全防御

推荐理由：做 LLM Agent 安全防护的团队终于有了一个可落地的方案——SafeMCP 在服务器端用前瞻推理主动过滤危险工具调用，比事后审计更有效，建议关注其开源实现。