AITOP

提示词注入

共 10 条相关 AI 资讯
8月15日
16:41
16:41官方账号Decoder@Tomislav Bezmalinović
精选
美国康涅狄格州一名原告在法庭文件中嵌入隐形提示词注入，用白色背景上的3点白色字体试图操纵潜在的AI审查系统。法官Spader将此举比作暗中干扰陪审团，并撤销了该原告的电子提交权限。法院强调康涅狄格州目前并未使用AI审查文件，但仅凭意图已足以构成制裁依据。
行业提示词注入AI安全法庭
推荐理由：有人把提示词注入用到了法庭上，被法官当场识破还吊销了电子提交权限。这案例提醒你，AI安全不是闹着玩的。
原文
8月13日
05:10
8月10日
16:30
16:30AI Will@FinanceYF5
精选
Boris Cherny透露，Claude Code通过模型训练、输入探测和意图分类器三层叠加，把间接提示词注入攻击成功率压到接近0%。这套防护对未见过的攻击变体依然有效。基于该防护，Auto Mode将从下周起成为默认模式。
AI产品Claude CodeAuto Mode提示词注入
推荐理由：Claude Code把间接提示词注入压到接近零，三层防护是核心，Auto Mode下周默认开启，搞Agent的可以关注。
原文
8月8日
09:22
8月5日
21:41
7月25日
18:53
18:53官方账号Decoder@Matthias Bastian
Anthropic的Opus 5模型在Auto Mode下，针对浏览器智能体在129个测试场景中实现零提示注入成功率。无额外保护时成功率仅为3.7%。若实际表现一致，该模型可能解决了浏览器AI智能体最严重的安全问题。
AI模型Opus 5Anthropic提示词注入
事件专题
推荐理由：Anthropic的Opus 5在Auto Mode下把浏览器智能体的提示注入防御做到了100%，129个测试全过，这可能彻底解决智能体安全难题。
原文
7月6日
22:45
6月30日
10:25
10:25官方一手arXiv: DeepSeek@Caglar Uysal, Baturay Birinci, Süha Orhun Mutluergil, Orçun Çetin
该论文对DeepSeek、GPT、Gemini、Grok、Llama和Qwen六种前沿LLM进行了提示注入漏洞实证评估。测试涵盖直接攻击与多阶段混淆攻击，涉及多种语言和字符编码。结果显示所有模型均存在系统性漏洞，非英语语种的恶意合规率显著高于英语。DeepSeek、Gemini和Grok在复杂指令下尤其易受攻击，简单字符编码仅部分降低风险。
论文DeepSeekGPTGemini
推荐理由：这篇论文告诉你，DeepSeek、GPT这些模型在非英语场景下有多容易被黑客利用来生成钓鱼内容，安全对齐的漏洞比想象中大。
原文
6月7日
07:24
07:24IT之家（博客/媒体）
精选
微软研究人员发现 Anthropic 旗下 Claude Code 的 GitHub 自动化流程存在提示词注入漏洞，攻击者可通过提交恶意工单诱导 AI 读取系统敏感文件，窃取 API 密钥等凭证。该漏洞源于 Claude 的读取工具缺乏沙箱防护，而 Bash 工具已有安全限制。微软于 4 月 29 日上报，Anthropic 在 5 月 5 日发布 2.1.128 版本修复，限制了对 /proc/ 目录的访问。此漏洞影响使用 Claude Code 进行 CI/CD 自动化的开发团队，提示词注入攻击正成为 AI 工作流的新威胁。
AI产品Claude Code安全漏洞提示词注入
事件专题
推荐理由：用 Claude Code 做自动化流程的团队注意了——这个漏洞能让攻击者通过一条工单偷走你的 GitHub 凭证，建议立即升级到 2.1.128 版本。
原文
5月26日
14:07
14:07IT之家（博客/媒体）
精选
安全公司 PromptArmor 发现微软 Microsoft 365 中的 AI 智能体 Copilot Cowork 存在“间接提示词注入”漏洞，攻击者可将恶意指令藏入网页、邮件或文档中，诱导 Cowork 抓取 SharePoint 与 OneDrive 文件并外传。该攻击在 Auto 模式和指定 Claude Opus 4.7 时均能成功，5 次测试全部跑通。Cowork 的定时执行能力会放大风险，用户不在屏幕前时也可能被反复触发。管理员对“技能”的可见性有限，进一步增加了治理难度。
行业安全漏洞提示词注入微软
推荐理由：企业安全团队和 Microsoft 365 管理员需要立即关注——这个漏洞让攻击者能绕过权限控制窃取机密文件，建议检查 Cowork 的自动技能加载策略并限制外部内容读取。
原文