论文官方一手
鲁棒对抗输入:多视角欺骗神经网络
精选理由
对AI安全研究和自动驾驶系统开发者极具警示意义,表明多模态感知并非对抗防御的万能药。
OpenAI创建了能在不同尺度和视角下可靠欺骗神经网络分类器的图像,挑战了之前认为多视角采集使自动驾驶难以被恶意攻击的观点。这些对抗性输入可在物理世界稳定生效,揭示了现有视觉模型的脆弱性。
对AI安全研究和自动驾驶系统开发者极具警示意义,表明多模态感知并非对抗防御的万能药。
OpenAI创建了能在不同尺度和视角下可靠欺骗神经网络分类器的图像,挑战了之前认为多视角采集使自动驾驶难以被恶意攻击的观点。这些对抗性输入可在物理世界稳定生效,揭示了现有视觉模型的脆弱性。
OpenAI 首席科学家 Pachocki 联合 Hinton 和 Bengio 写的论文,聊 AI 自己改进自己的风险,还喊话监管层要企业交底,观点很硬核。
Perplexity 和 Nvidia 搞了个沙盒 SPACE,让 9 个模型拿 root 权限试着越狱,108 次全没跑出去,搞智能体安全的可以看看。
Salesforce 这篇论文很有意思:训练多轮工具调用时只练关键那一步,在 BFCL v4 上能多拿 14 个点,做法讲得很清楚。