论文官方一手
对抗攻击神经网络策略
精选理由
了解对抗攻击有助于提升模型鲁棒性和安全性，是AI部署前必做的风险评估。
本文探讨了针对神经网络策略的对抗攻击方法，展示了对强化学习模型进行微小的输入扰动就能显著改变其行为。这些攻击揭示了当前模型在鲁棒性方面的脆弱性，对AI安全研究具有重要意义。
继续读
同标签或同类目的最近条目Pachocki、Hinton、Bengio 等发文：AI 自动化研发或引发智能爆炸
OpenAI 首席科学家 Pachocki 联合 Hinton 和 Bengio 写的论文，聊 AI 自己改进自己的风险，还喊话监管层要企业交底，观点很硬核。
Perplexity 联手 Nvidia 推出 SPACE 沙盒，测试 AI 智能体越狱风险
Perplexity 和 Nvidia 搞了个沙盒 SPACE，让 9 个模型拿 root 权限试着越狱，108 次全没跑出去，搞智能体安全的可以看看。
Salesforce AI Research 提出 Critical-State RL 训练多轮工具调用
Salesforce 这篇论文很有意思：训练多轮工具调用时只练关键那一步，在 BFCL v4 上能多拿 14 个点，做法讲得很清楚。
