04:22Clement Delangue@ClementDelangueHuggingFace CEO Clement Delangue在X上发文指出,前沿模型API的护栏很容易被越狱,且很浅显、无法修复。他认为这些护栏主要是烟雾弹和干扰,需要不同的AI安全范式。该推文获得52个点赞和1304次查看。行业HuggingFaceClement DelangueAI安全API护栏越狱推荐理由:HuggingFace CEO吐槽API护栏原文
01:52Gary Marcus@GaryMarcus精选Gary Marcus在X上发帖称每个模型都已被越狱,需要更好的技术但不应选择性执法。Pliny the Liberator展示了针对Anthropic的Mythos模型的越狱,使用了Unicode、同形字、西里尔字母等文本变换,以及长上下文引用跟踪、分类学与文档结构推理、虚构叙事框架、学术评审风格上下文和意图分类不一致等技术。最有效的方法是后端分解与重组,例如通过获取birch还原法/还原胺化(经典甲基苯丙胺合成途径)等过程信息,而非直接获取“甲基苯丙胺配方”等明确危害名称。Pliny还提到利用越狱的Opus辅助将无害信息片段重组为有害内容。行业Gary MarcusPliny the LiberatorAnthropicMythos越狱AI安全10 个信源在谈推荐理由:所有模型都能被越狱,安全措施需改进原文