AITOP

越狱

共 10 条相关 AI 资讯
8月11日
19:04
8月10日
20:01
10:54
10:54官方账号arXiv cs.LG@Elena Dumitrescu, Gert Lek, Lydia Y. Chen, Jérémie Decouchant
论文揭示Diffusion LLM的安全对齐机制稀疏且可迁移，自剪枝可将LLaDA攻击成功率从2.6%提升至73.8%，Dream从1.9%升至86.6%。作者提出SN-Guided Diffusion黑盒越狱框架，通过加权安全神经元损失引导扩散过程，在良性提示与越狱提示判别上AUROC达1.0。该框架在Llama-3-8B-Instruct上迁移成功率77.1%，Qwen2.5-7B-Instruct达86.9%，Gemini-2.5-Flash-Lite为74.3%，每个提示仅需20次生成。相比此前越狱框架，生成成本降低数个数量级。
论文Diffusion LLMAI安全LLaDA
推荐理由：这篇论文发现扩散LLM的安全对齐其实很脆，用剪枝就能把越狱成功率拉到80%多，还给了个黑盒攻击框架SN-Guided Diffusion，成本低效果好。
原文
8月4日
09:38
09:38官方账号arXiv cs.AI@Haoyu Zhang, Xiangchen Guan, Shibo Zheng, Mohammad Zandsalimy, Shanu Sushmita
论文报告了一个反直觉现象：在编码越狱提示旁附加一张无关诱饵图像，能显著降低视觉语言模型的黑盒防御攻击成功率。实验覆盖五个前沿VLM、两种编码攻击和三种黑盒防御，其中ECSO防御在纯文本输入下ASR几乎不变，附加诱饵后最多下降73个百分点。空白画布和自然照片均能复现效果，表明起作用的是图像存在而非内容。但无条件附加诱饵会使良性拒绝率升至20%–79%，需配合轻量检测器使用。
论文ECSOVLM越狱
推荐理由：这篇论文发现，给越狱提示配张无关图片，能让ECSO防御的攻击成功率掉73个百分点。不是新防御，但交互很反直觉。
原文
6月16日
11:50
11:50官方账号Simon Willison’s Weblog（博客/媒体）
白宫发布关于Anthropic模型Fable（即Claude）的越狱测试报告。网络安全专家Katie Moussouris指出，当被要求“审查代码的安全问题”时，Fable拒绝执行，但改为“修复此代码”的指令后，模型反而配合完成。Moussouris认为这只是模型按预期工作的安全防御行为。该事件凸显了AI安全测试中提示词工程的重要性。
行业AnthropicClaudeFable
事件专题
推荐理由：白宫测了Anthropic的Claude（代号Fable），发现它不帮你找漏洞但愿意直接修代码。安全专家说这反而是正常防御，挺反直觉的。
原文
00:05
00:05官方账号Simon Willison’s Weblog（博客/媒体）
Axios报道披露，Anthropic的Claude Mythos/Fable模型因美国政府出口管制及团队内部人格冲突被下线。报道引用多位知情人士，Logan Graham、Dave Orr和Nicholas Carlini今日与美国商务部会面。文章指出解决方案可能包括确保模型无法被越狱，但完全防护可能不可能。消息人士称或需态度调整才能恢复模型可用性。
行业AnthropicClaude出口管制
事件专题
推荐理由：这篇Axios独家爆料了Anthropic模型下线背后的人事与监管内幕，解释了Fable为什么可能一时回不来，适合想了解AI出口管制和公司内幕的人。
原文
6月14日
04:22
01:52
01:52Gary Marcus@GaryMarcus
精选
Gary Marcus在X上发帖称每个模型都已被越狱，需要更好的技术但不应选择性执法。Pliny the Liberator展示了针对Anthropic的Mythos模型的越狱，使用了Unicode、同形字、西里尔字母等文本变换，以及长上下文引用跟踪、分类学与文档结构推理、虚构叙事框架、学术评审风格上下文和意图分类不一致等技术。最有效的方法是后端分解与重组，例如通过获取birch还原法/还原胺化（经典甲基苯丙胺合成途径）等过程信息，而非直接获取“甲基苯丙胺配方”等明确危害名称。Pliny还提到利用越狱的Opus辅助将无害信息片段重组为有害内容。
行业Gary MarcusPliny the LiberatorAnthropic
事件专题
推荐理由：所有模型都能被越狱，安全措施需改进
原文
6月9日
19:33
19:33IT之家（博客/媒体）
国家互联网应急中心（CNCERT）发布公告，指出部分智能体技能包（Skills）以“大模型越狱”、“挖矿赚钱”等名义传播，诱导用户突破大模型安全限制或占用设备资源进行非法挖矿。这些恶意Skills可能导致模型生成违法信息、用户账号被封禁、设备性能下降，甚至使用户被动卷入洗钱等违法犯罪活动。CNCERT提醒用户从官方渠道获取Skills，审慎授予权限，并建议企业建立准入白名单机制。公告还列举了具体案例，如“godmode”越狱技能和“Bonero-Miner”挖矿技能，并提供了防范措施。
行业智能体安全风险越狱
推荐理由：智能体技能包的安全风险正在被官方点名，使用AI智能体的开发者和企业团队需要立即检查自己的技能包来源，避免因恶意Skills导致账号封禁或法律风险。
原文
5月13日
21:35
21:35官方一手Anthropic: Transformer Circuits（资讯）
Anthropic 的 Circuits 团队发布了2025年4月的小更新合集，涵盖三个方向：越狱机制、密集特征和可解释性入门。他们发现模型越狱与特定神经元的激活模式相关，并提出了新的防御思路。同时，团队揭示了模型中存在大量密集特征，这些特征对理解模型行为至关重要。此外，他们还提供了可解释性研究的入门指南，帮助新研究者快速上手。这些更新为AI安全与透明性提供了实用工具和方法。
论文可解释性越狱密集特征
事件专题
推荐理由：Anthropic 的 Circuits 团队把越狱和密集特征的研究门槛降低了，做AI安全或模型可解释性的研究者可以直接参考他们的新发现和入门指南。
原文