AITOP

jailbreak

共 2 条相关 AI 资讯
7月1日
16:03
16:03官方账号Decoder@Matthias Bastian
72°
美国政府解除了对Anthropic Fable 5模型长达两周的禁令，允许其全球恢复销售。Amazon研究人员此前发现该模型存在越狱漏洞，Anthropic表示更小的Claude Haiku 4.5也能实现相同攻击。新的安全分类器能阻挡超过99%的越狱尝试，但也会错误标记更多无害请求。
行业AnthropicFable 5Claude Haiku 4.5
事件专题
推荐理由：Fable 5全球恢复销售了，因为一个越狱漏洞让政府禁了两周，现在加了新安全措施，能挡住99%越狱但也会误拦截。
原文
6月19日
11:06
11:06官方账号arXiv cs.LG@Sihui Dai, Mann Patel
该论文通过混合良性合规示范（无害请求、有用回复）与有害合规示范（有害请求、有用回复），测试了三种关于示范组合如何导致有害合规的假设。在四个模型中，良性示范与有害示范不可互换：良性示范可能减少或增加有害合规，取决于模型。研究发现偏好优化是关键训练阶段，可防止良性示范增加有害合规；示范排序存在强烈的近因偏差；模型在拒绝与上下文学习交互时表现不同。
论文LLMjailbreakdemonstration
推荐理由：这篇论文解释了为什么不同的合规示范会以不同方式影响模型，帮你理解LLM的jailbreak机制，不只是实证而是分析原理。
原文