aligned

aligned（对齐）是大模型安全与训练中的核心概念，指让 AI 模型的行为符合人类意图、价值观与安全规范的过程。它贯穿从奖励建模、强化学习到部署后防御的整个链条，也是当前学术界与工业界投入最密集的研究方向之一。近期，对齐研究正从通用的 RLHF 走向更细分、更个性化的路线。## aligned 的近期进展在个性化对齐方面，arXiv 上的 P-TTT 提出用测试时训练（test-time training）改进个性化奖励建模，让奖励模型能够适配不同用户的偏好，而不再依赖单一的统一偏好假设，这被视为对齐从'群体平均'走向'个体定制'的一种尝试。P-TTT：用测试时训练改进个性化奖励建模在垂直领域，G-CARL 面向面向患者的医学报告解读，提出基于检查清单的对齐奖励学习框架，用有事实依据的清单约束奖励模型，降低医学场景下幻觉式解读的风险。G-CARL: Grounded Checklist-Aligned Reward Learning for Patient-Oriented Medical Report Interpretation对齐的安全性也是热点。一项机制可解释性研究分析了越狱攻击下的鲁棒有害特征，提供了注意力头专业化的机制证据，说明模型内部存在可被定位的'有害特征'回路，这为从内部削弱越狱攻击提供了新思路。越狱攻击下鲁棒有害特征：注意力头专业化的机制证据对齐技术也延伸到生成任务：FLUX3D 利用扩散对齐的稀疏表示实现高保真 3D 高斯生成，把'对齐'概念用于约束 3D 生成质量。FLUX3D：扩散对齐稀疏表示实现高保真3D高斯生成## 当前焦点与观察点其一，对齐的成本与效果存在张力。DeepSeek 团队的研究揭示了一个'质量-效用悖论'：高奖励数据反而会损害小模型的数学推理能力，意味着在数据侧一味追求高奖励标注未必对模型有益。质量-效用悖论：高奖励数据损害小模型数学推理其二，对齐与模型能力在真实产品层持续碰撞。Mercury 2.5 Preview 已在 OpenRouter 上线，扩散式语言模型进入公开路由平台，这类新架构如何适配现有对齐流程，是值得跟踪的问题。Mercury 2.5 Preview在OpenRouter上线其三，人机协作中的对齐评估开始受到关注，RACER 等工作尝试从少量样本估计陌生专家的能力并用于人机路由，侧面反映'对人对齐'与'对任务对齐'的边界正在模糊。RACER：从少量样本估计陌生专家能力的人机路由框架总体来看，aligned 正在从单一的 RLHF 范式，分化为个性化对齐、领域对齐、机制安全等多条并行路线；研究者需要在安全性、推理能力和工程成本之间反复权衡，这一趋势预计仍将持续。