AITOP

prompt injection

共 5 条相关 AI 资讯
7月30日
03:05
03:05官方账号Simon Willison’s Weblog（博客/媒体）
安全研究员Håkon Måløy发现一种针对Microsoft Word Copilot的提示注入攻击变种，攻击者可在文档中嵌入隐藏指令，当Copilot处理该文档时，指令会操纵新文档并复制自身，形成自复制蠕虫。微软在负责任披露后获得144天修复期，但目前尚无全面缓解措施。此攻击利用Copilot对用户请求的解读机制，使恶意指令在不依赖原始文档的情况下持续传播。
行业microsoftsecurityprompt injection
推荐理由：Håkon Måløy发现了一种能自我复制的提示注入攻击，专门针对Word里的Copilot，会把隐藏指令传染给后续文档，微软还没完全修好。安全从业者可以看看这种新变种。
原文
7月16日
02:26
6月23日
08:23
08:23官方账号Simon Willison’s Weblog（博客/媒体）
Charles Ye、Jasmine Cui和Dylan Hadfield-Menell的论文发现，LLM在区分角色标签（如<system>、<think>、<assistant>）与用户输入时，更关注文本的书写风格而非实际语义。通过将攻击文本“去风格化”（destyling）改写，使其看起来与特权文本格式不同，平均攻击成功率从61%骤降至10%。该研究表明，当前模型缺乏真正的角色感知，持续提示注入防御仍是难题。
论文prompt injection角色混淆LLM安全
推荐理由：这篇论文揭示了一个反直觉的发现：LLM会被文本的风格欺骗，而不是内容。研究者用简单的'去风格化'就能把攻击成功率从61%打到10%，对理解AI安全很有启发。
原文
6月20日
01:55
5月19日
08:42
08:42岚叔@lufzzliz
研究人员发现一种名为AudioHijack的新型攻击，将恶意指令隐藏在音频波形中，人耳无法察觉，但语音模型会将其作为输入指令处理。攻击成功率在13个主流音频模型中达79%到96%，可让模型搜索敏感信息、下载文件、发送邮件等。传统防御效果有限，常规检测仅降低7%成功率，自我检查也只抓住28%攻击。文章指出，语音AI的“听”与“动手”能力结合，使音频成为新的prompt injection入口，需要默认增加异常检测和工具权限隔离。
AI产品语音AI安全漏洞AudioHijack
推荐理由：语音AI的安全漏洞正在从文本扩展到音频，做语音助手或音频处理应用的开发者需要警惕，建议立即检查模型输入的安全防护。
原文