jailbreak 相关 AI 资讯 · AI 热点

7月1日

16:03

16:03

官方账号Decoder@Matthias Bastian

72°

美国政府解除了对Anthropic Fable 5模型长达两周的禁令，允许其全球恢复销售。Amazon研究人员此前发现该模型存在越狱漏洞，Anthropic表示更小的Claude Haiku 4.5也能实现相同攻击。新的安全分类器能阻挡超过99%的越狱尝试，但也会错误标记更多无害请求。

行业 Anthropic Fable 5 Claude Haiku 4.5 jailbreak AI安全

推荐理由：Fable 5全球恢复销售了，因为一个越狱漏洞让政府禁了两周，现在加了新安全措施，能挡住99%越狱但也会误拦截。

6月19日

11:06

11:06

官方账号arXiv cs.LG@Sihui Dai, Mann Patel

该论文通过混合良性合规示范（无害请求、有用回复）与有害合规示范（有害请求、有用回复），测试了三种关于示范组合如何导致有害合规的假设。在四个模型中，良性示范与有害示范不可互换：良性示范可能减少或增加有害合规，取决于模型。研究发现偏好优化是关键训练阶段，可防止良性示范增加有害合规；示范排序存在强烈的近因偏差；模型在拒绝与上下文学习交互时表现不同。

论文 LLM jailbreak demonstration in-context learning 安全对齐

推荐理由：这篇论文解释了为什么不同的合规示范会以不同方式影响模型，帮你理解LLM的jailbreak机制，不只是实证而是分析原理。