AITOP
精选
过去 24 小时，从 661 条中筛出 45 条
全部模型产品行业论文技巧
标签：越狱攻击×
6月11日
15:28
15:23
15:07
6月1日
00:09
5月29日
08:02
AITOP5月29日 08:02
Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？🔥Anthropic 把 AI 编程的“确认键”彻底删掉了！Claude Code 搭载全新 Opus 4.8 模型，长时间任务不跑偏、不废话、不中断，像一个资深工程师一样默默干活，从功能开发到漏洞清扫全包圆，你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”，现在它直接交完整交付物……自主编程的最后一层窗户纸，被捅破了。做自动化开发和代码审查的团队，这个模型建议直接上手，效率差距肉眼可见……Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？
5月19日
14:03
14:03arXiv: DeepSeek@Dylan Marx, Marcel Dunaiski
精选72°
研究发现，使用低资源非洲语言（如南非荷兰语、斯瓦希里语、科萨语和祖鲁语）进行多轮对话，可以绕过ChatGPT、Claude、DeepSeek、Gemini和Grok等商业大模型的安全护栏。单轮翻译攻击无效，但多轮对话在英语上达到52.7%-83.6%的有害响应率，非洲语言也达到41.8%-78.2%。人工红队测试比自动化方法越狱率更高，且翻译质量是决定越狱成功的关键因素——翻译质量越差，越狱率越低。
论文越狱攻击低资源语言多轮对话安全漏洞LLM安全
推荐理由：安全团队和LLM开发者需要警惕：多语言安全漏洞远未被堵住，低资源语言成为新的攻击面。建议立即检查自家模型的多轮对话安全机制。
原文
5月15日
10:07
10:07arXiv: Anthropic@Jean-Philippe Monteuuis, Cong Chen, Jonathan Petit
精选
该论文揭示了LLM越狱攻击评估中的关键问题：攻击成功率（ASR）作为主要指标并不稳定，导致已发表的ASR数值被系统性夸大且不可比较。研究发现，即使一个越狱提示在单次测试中达到80%的ASR，在连续5次尝试中成功率可能降至50%。作者分析了攻击生成和评估过程中的随机性影响，提出了新指标CAS-eval和攻击生成框架CAS-gen。CAS-eval能更稳定地评估攻击效果，而CAS-gen帮助恢复因随机性导致的30个百分点的ASR损失。这项工作对越狱攻击的可靠评估和防御研究具有重要参考价值。
论文LLM安全越狱攻击评估指标随机性CAS-eval/CAS-gen
推荐理由：做LLM安全评估的团队会发现现有ASR指标不可靠——论文用数据证明80%的ASR在连续测试中可能只剩50%，CAS-eval和CAS-gen直接解决了这个评估和生成的不一致问题，做红队测试的建议点开。
原文