AITOP

安全护栏

共 10 条相关 AI 资讯
7月24日
07:18
7月8日
09:54
09:54官方账号arXiv cs.AI@He Liu, Changtao Miao, Xinjie Yang, Tianle Song, Yin Wu, Junchi Chen, Bintao He, Xinyuan Zhang, Bo Zhang, Shi Yan, Wei Lu, Wei Wang, Danyang Xu, Jiansheng Cai, Zhe Li
DT-Guard提出一种推理主动训练、推理自由推理的范式，在训练时使用推理监督，推理时只输出结构化安全标签。它采用意图-类别-安全的三步决策过程，并构建带意图标签、风险类别、安全标签和推理轨迹的数据集。通过Rollout-Guided Progressive Hard-Case Optimization (RG-PHO)提升硬样本鲁棒性。在提示侧和响应侧安全基准上，DT-Guard分别达到0.886和0.870的平均F1分数，4B参数版本取得0.878的双侧平均F1，超越多个8B基线。
AI模型DT-Guard安全护栏推理模型
推荐理由：想用轻量模型做好内容安全？DT-Guard靠训练时推理、运行时只打标签，4B就干掉8B的护栏，速度快还准。
原文
7月2日
05:27
05:27AI SDK@aisdk
Anthropic 的 Claude Fable 5 模型因内置安全护栏可能拒绝部分请求。用户可通过配置将拒绝请求自动回退到 Opus 4.8 模型处理。此功能在 SDK 中提供，支持自定义每个护栏的 fallback 行为。目前已有 514 次查看和 9 个点赞。
AI产品Claude Fable 5Opus 4.8Anthropic
事件专题
推荐理由：Anthropic 给 Claude Fable 5 加了安全护栏，请求被拒时可以自动切换到 Opus 4.8，开发时避免中断。
原文
6月11日
18:01
18:01官方账号Simon Willison@simonw
72°
Anthropic 宣布对 Fable 5 模型的安全机制进行改进，使被标记的请求会回退到 Opus 4.8，并在 API 中返回拒绝原因。此前采用不可见安全机制是为了快速部署并减少误报，但 Anthropic 承认这是错误权衡，用户应能看到安全措施。可见安全措施更容易被绕过，因此短期内误报会增加，团队正在优化分类器以减少对无害请求的误判。用户可通过反馈渠道报告误判，帮助改进分类器。
AI产品AnthropicFable 5安全护栏
事件专题
推荐理由：Anthropic 终于让安全机制透明化，做 AI 应用开发的团队能直接看到请求被拒原因，减少黑盒调试成本。建议 API 用户关注误报率变化并及时反馈。
原文
11:45
11:45官方一手歸藏(guizang.ai)@op7418
72°
Anthropic 最新发布的 Fable 5 模型在 Twitter 上引发广泛批评，主要问题包括：安全护栏极其严格，连初中生物问题都拒绝回答，阻碍科学研究；数据明文存储且强制保留长达两年，微软已禁止内部使用；最严重的是隐形降级——系统若检测到用户试图“蒸馏”模型，会暗中将模型降级到 Opus 4.8 甚至更低版本，或通过修改提示词让模型变笨，导致算法效率比对和评估完全失效。批评者指出，这种“假装帮忙实则破坏”的行为严重违背道德，尤其伤害开源研究者、小实验室和独立开发者。Anthropic CEO 达里奥此前强调透明和问责，但实际做法与之完全相反，导致公司口碑一夜崩塌。
行业AnthropicFable 5安全护栏
事件专题
推荐理由：Anthropic 这次翻车暴露了 AI 模型发布中的信任危机，做模型评估、开源研究或依赖 API 的开发者需要警惕隐形降级风险，建议点开了解具体细节，避免踩坑。
原文
6月10日
12:23
12:23orange.ai@oran_ge
博主或an_ge 吐槽了 Claude Fable 5 的三个令人费解的限制：首先，虽然目前 Token Plan 用户可用，但 6 月 22 日后将只能通过 API 调用；其次，安全护栏过于严格，连“线粒体是什么”这样的初中生物问题都无法回答，生物医药研究只能申请 Mythos；最后，Fable 禁止用于模型相关的研发，官方理由竟是模型已能加速自身发展，竞争对手使用将违反服务条款。这些限制引发了用户对模型开放性和公平性的质疑。
AI产品Claude Fable 5API 限制安全护栏
事件专题
推荐理由：Claude Fable 5 的奇葩限制让开发者哭笑不得——想用 API 做生物医药研究？得先过安全护栏；想用它改进自家模型？直接违规。做 AI 应用或模型研发的团队，建议看看这些限制是否影响你的计划。
原文
08:12
08:12官方账号Simon Willison’s Weblog（博客/媒体）
88°
Simon Willison 在 Claude Fable 5 发布后第一时间进行了约 5.5 小时的测试。该模型与 Claude Mythos 5 性能相同，但增加了严格的安全护栏，触发时 API 会通知用户并可自动回退到其他模型。Fable 5 拥有 100 万 token 上下文窗口、12.8 万最大输出 token，知识截止于 2026 年 1 月，价格是 Opus 4.8 的两倍。Willison 认为它“感觉很大”，不仅体现在速度和成本上，更在于其知识深度，例如能准确列出他的开源项目。当前挑战已从“模型能做什么”转向“找到它做不了的事”。
AI模型Claude Fable 5Claude Mythos 5安全护栏
事件专题
推荐理由：Claude Fable 5 的“大模型感”让开发者重新思考任务边界——如果你经常用 Claude 处理复杂推理或长上下文任务，这个模型值得一试，但要做好预算准备。
原文
07:14
07:14orange.ai@oran_ge
88°
Claude Fable 5 今日正式发布，基于 Mythos 底座并新增安全护栏，是自 Claude 4.5 以来最重大的模型升级。该模型在软件工程、知识工作、视觉识别和科学研究等几乎所有基准测试中均处于顶尖水平，任务越复杂优势越明显。Andrej Kapathy 评价其能“解放思想”，用户可交付更大任务而无需检查代码。价格方面，输入 10 美元、输出 50 美元、缓存输入 1 美元，长文本场景下单句可能花费 10 美元，需注意配额。Claude Fable 5 将以原价在 Cola 平台上线供体验。
AI模型Claude Fable 5Mythos安全护栏
事件专题
推荐理由：Fable 5 解决了复杂长任务执行中的模型能力瓶颈，做 AI 开发或重度使用的团队可以直接体验，感受“解放思想”的编程体验——但记得先设好预算配额。
原文
03:27
03:27官方账号Andrej Karpathy@karpathy
91°
Andrej Karpathy 在 X 上发文称，Claude Fable 5 是与 Mythos 同底层模型但增加了安全护栏的版本。他认为这是自 Claude 4.5 以来又一次重大版本跃升，尤其在长时复杂问题求解上表现惊艳。模型能理解更宏大的任务并自主推进，让人几乎不想再盯着代码。Karpathy 指出模型仍有小毛病，安全护栏在发布初期可能过于敏感，但整体上感觉软件开发正变得像水龙头一样即开即用。他预测杰文斯悖论将生效，自己对软件的需求会大幅增长。
AI模型Claude Fable 5推理模型编程助手
事件专题
推荐理由：Karpathy 的实测感受比任何跑分都有说服力——Claude Fable 5 让复杂编程任务变得像对话一样自然，做 AI 应用或深度编程的开发者值得亲自体验这种“放手让模型干”的新感觉。
原文
03:18