#模型对齐

Anthropic CEO Dario Amodei 发表文章，呼吁 AI 行业放慢速度，并承诺提供系统访问权限给第三方评估机构，这和之前的情况不同。

Aadit Sheth@aaditsh11 个信源在谈原文

Anthropic要给第三方安全专家开权限了，让他们能直接检查模型训练过程，确保安全，这和之前说的要放慢AI发展节奏有关。

官方账号Sam Altman@sama11 个信源在谈原文

阿里团队发现多领域模型训练中每个领域都有最佳覆盖比例，对齐阶段难以弥补领域差距。

Thom Wolf谈AI安全本质：开源闭源模型面临相同挑战，唯一解决方案是让模型从根本上不想做坏事。

Thomas Wolf@Thom_Wolf原文

Anthropic提出了在模型训练中期加入宪法性内容来提升对齐持久性，在blackmail任务上降了17.5pp，而且不牺牲MMLU等能力，值得搞对齐的人看看。

做模型对齐和偏好优化的团队终于有了数据层面的诊断工具——不用再盲目调奖励权重，直接看数据教了模型什么。做安全对齐或模型人格定制的开发者建议点开，能省下大量试错时间。

LRM的推理链常被用户视为深思熟虑的证据，但这项研究戳破了这个幻觉——推理行为并不等于置信度表达更可靠。做模型对齐或安全评估的团队值得关注，尤其是那些在医疗、金融等高风险场景部署LRM的开发者，看完会重新审视你的置信度校准策略。

这篇论文揭示了 AI 模型微调中一个反直觉的机制——模型能从语义无关数据中习得隐藏特质，做模型对齐或安全研究的团队值得关注，看完会对数据蒸馏的潜在风险有新认识。

做AI公平性研究或模型对齐的团队，这篇论文直接戳破了VLM在模糊输入下的性别偏见黑箱——LALS方法让你能逐层看到模型内部编码与输出的脱耦，建议做模型审计的开发者点开看看具体实验设计。

做AI对齐和模型安全的研究者值得关注——用现成人设向量替代CAA，既减少谄媚又保持准确性，省去标注谄媚数据的麻烦。建议直接看代码和实验细节。

做AI安全和对齐的研究者、模型微调工程师值得关注——这项研究用两个量化指标揭示了有害微调如何让模型角色扮演能力崩溃，比单纯看输出内容更早发现问题。建议点开看看指标计算方法。