AudioHijack攻击:语音AI的隐藏命令威胁

语音 AI 的安全问题,开始有点像恐怖片了: 你听到的是一段正常音乐、一条语音备忘录、一场会议。 …

精选理由

语音AI的安全漏洞正在从文本扩展到音频,做语音助手或音频处理应用的开发者需要警惕,建议立即检查模型输入的安全防护。

AI 摘要

研究人员发现一种名为AudioHijack的新型攻击,将恶意指令隐藏在音频波形中,人耳无法察觉,但语音模型会将其作为输入指令处理。攻击成功率在13个主流音频模型中达79%到96%,可让模型搜索敏感信息、下载文件、发送邮件等。传统防御效果有限,常规检测仅降低7%成功率,自我检查也只抓住28%攻击。文章指出,语音AI的“听”与“动手”能力结合,使音频成为新的prompt injection入口,需要默认增加异常检测和工具权限隔离。

AI 翻译 · 中文

研究人员发现一种名为AudioHijack的新型攻击,将恶意指令隐藏在音频波形中,人耳无法察觉,但语音模型会将其作为输入指令处理。攻击成功率在13个主流音频模型中达79%到96%,可让模型搜索敏感信息、下载文件、发送邮件等。传统防御效果有限,常规检测仅降低7%成功率,自我检查也只抓住28%攻击。文章指出,语音AI的“听”与“动手”能力结合,使音频成为新的prompt injection入口,需要默认增加异常检测和工具权限隔离。

岚叔语音 AI 的安全问题,开始有点像恐怖片了: 你听到的是一段正常音乐、一条语音备忘录、一场会议。 模型听到的,可能是一句隐藏命令。 IEEE Spectrum 这篇讲的是一种新攻击:**AudioHijack**。 研究人员把恶意指令藏进音频波形里。人耳基本察觉不到,语音模型却可能把它当成输入指令处理。 这事麻烦在于,现在的语音 AI 已经不只是“听写工具”了。 它可以总结会议、分析音频、调用搜索、下载文件、发邮件,甚至连接外部应用