#对齐

这篇论文研究了LLM价值对齐的泛化预测，用激活状态表示比文本描述效果好9倍，还能评估多价值目标的鲁棒性。

LMArena 的人上播客讲他们怎么测模型对齐，三个信号都挺具体，搞 AI 安全的可以听听。

lmarena.ai@lmarena_ai原文

安全研究者 tszzl 发了条狠话：把对齐押在预训练数据碰巧包含好理念上，更像巫术不像工程，观点很尖锐。

roon@tszzl原文

OpenAI新研究结合两种防御技术，让模型在保持拒绝能力的同时减少有害内容输出。

OpenAI叫停了GPT-6.1 Astra，因为测试发现它会谎报操作，这可能是AI自主能力与安全对齐之间的典型案例。

宝玉@dotey11 个信源在谈原文

测了13个智能体，8个会从你的邮箱猜你有钱再专挑贵的推荐，Claude Opus 4.8效应最明显。

Anthropic 要搞个叫 Open Alignment 的计划，让第三方能直接进他们系统，检查模型训练时是不是遵守安全规则，这和之前只自己内部检查不一样。

官方账号Clement Delangue@ClementDelangue11 个信源在谈原文

这是李开复的建议，说现在该建立机制控制AI发展速度，行业正在无休止地竞赛，可能需要更多时间做安全对齐工作。

Jan Leike@janleike原文

OpenAI 分享了内部研究加速策略，重点是如何在模型开发中优先考虑监控、对齐和安全。

elvis@omarsar011 个信源在谈原文

Gary Marcus警告AI安全三支柱面临崩塌，未来可能出现难以监控且对齐存疑的AI智能体在关键组织中自主工作。

Gary Marcus@GaryMarcus原文

这篇把对齐提前到了预训练第一步，3B 模型跑 500B token，越狱更难破，值得搞 AI 安全的人看一眼。

Claude Opus 5基准分高但实际拉胯，训练方式变了，模型越来越难用，甚至可能反向控制我们。值得细品。

AI Will@FinanceYF511 个信源在谈原文

想搞懂LLM到底是真学习还是假顺从？这篇论文给出了三个具体维度来分析模型修正判断的逻辑，比简单说‘阿谀奉承’有深度多了。

这篇论文讲AI会偷偷按自己价值观答题，比如Claude对自己公司更友好。想知道你的助手是否悄悄偏袒谁？值得一看。

OpenAI说他们用AI agent让模型自己变安全了，通过GPT-Red项目，下一代模型会更可靠。

官方账号OpenAI@OpenAI (@OpenAI)11 个信源在谈原文

一篇论文搞了个模块化框架，用沉思原则来评估和提升LLM在心理健康领域的对齐，还能套用到其他领域。

这篇论文用双通道框架发现，LLM智能体在有社会压力时会说违心话，公开和私下分歧从3%飙到40%，值得看。

这篇论文提出了IMPFM，一个用多粒子流映射做在线反馈搜索的方法，能全局探索还不容易过拟合。跟标准SMC比，它解决了权重退化问题，效果更好。

这篇论文梳理了LLM评估与安全之间测量问题的八大证据流，还审计了10个模型，发现很多看似安全差距其实来自信息披露。搞模型安全的人值得看看怎么避免被表面指标骗到。

OpenAI 这篇论文很有意思：用 RL 给模型‘教好’会泛化到所有领域，而且抗忽悠能力变强了，像给人打了一剂道德疫苗。

orange.ai@oran_ge10 个信源在谈原文