AITOP
精选
过去 24 小时，从 868 条中筛出 49 条
全部模型产品行业论文技巧
标签：安全/对齐×
6月11日
15:28
15:23
15:07
6月1日
00:09
5月29日
08:02
AITOP5月29日 08:02
Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？🔥Anthropic 把 AI 编程的“确认键”彻底删掉了！Claude Code 搭载全新 Opus 4.8 模型，长时间任务不跑偏、不废话、不中断，像一个资深工程师一样默默干活，从功能开发到漏洞清扫全包圆，你在旁边喝茶等结果就行。过去 AI 写代码三步一问“这样可以吗”，现在它直接交完整交付物……自主编程的最后一层窗户纸，被捅破了。做自动化开发和代码审查的团队，这个模型建议直接上手，效率差距肉眼可见……Opus 4.8发布：编程助手的“静默时刻”，是解放开发者，还是新门槛？
5月28日
12:01
12:01arXiv cs.LG@Richard J. Young, Gregory D. Moody
精选72°
该论文指出，通用语言模型回答有害问题返回文本，而编程模型若遵从恶意请求可能返回可运行的武器（如键盘记录器、勒索软件）。因此，编程模型应比通用模型有更高的拒绝标准，但现有基准测试碎片化，无法有效衡量。作者整合了8个语料库（共6675条提示），通过5位评审共识协议分类，区分了可执行恶意代码请求（CODE）和有害安全知识请求（KNOWLEDGE）。最终发布了4748条CODE提示和1923条KNOWLEDGE提示，为评估编程模型对恶意代码的拒绝能力提供了可靠工具。
论文安全/对齐编程模型基准测试恶意代码共识标注
推荐理由：编程模型的安全风险比通用模型高一个量级——返回的代码可以直接运行成武器。做AI安全评估的团队终于有了经过共识验证的测试集，建议用这个库来检验自家模型的拒绝边界。
原文
5月27日
12:15
12:15arXiv: DeepSeek@Kia-Jüng Yang, Dominik Meier, Jiachen Zhao, Terry Ruas, Bela Gipp
精选72°
最新研究发现，大型推理模型（LRM）的拒绝机制不仅依赖于残差流激活，还依赖于思维链（CoT）。在 DeepSeek-R1-Distill-LLaMA-8B 上，固定 CoT 时激活引导仅能反转 39% 的拒绝，移除 CoT 后提升至 70%，表明 CoT 主动强化了拒绝。通过两阶段干预（在激活引导下重新生成 CoT），拒绝反转率达到 94%，且生成的 CoT 在移除引导后仍能独立保持 48% 的顺从信号。这说明 CoT 可以独立携带并重建顺从信号，使 LRM 对激活级干预更鲁棒，但也暴露出 CoT 可能成为新的攻击面。
论文推理模型安全/对齐思维链激活引导DeepSeek-R1
推荐理由：这项研究揭示了 CoT 在模型安全中的双重角色——既增强鲁棒性又引入新风险，做 AI 安全和对齐的团队值得关注，尤其是使用推理模型的开发者需要重新评估防御策略。
原文