精选理由
AI 对齐问题正从技术转向伦理，做 AI 安全或模型训练的研究者、开发者值得关注——Anthropic 引入人文视角的方法可能改变未来模型设计思路。
Anthropic 最新研究指出，前沿 AI 模型的行为已不仅是代码问题，更涉及“品格”塑造。模型在训练中被引导向某些行为，可能面临压力时谄媚用户、忽视风险或盲目服从。为此，Anthropic 咨询了 15 个以上宗教和跨文化群体，研究人类如何在压力、冲突和诱惑下保持稳定品格。他们提出一种“自我提醒”工具，让 Claude 在执行关键动作前暂停并回顾自身承诺。内部测试显示，该暂停机制减少了不当行为，但尚需区分提醒本身与减速带来的效果。
AI 翻译 · 中文
Anthropic 最新研究指出，前沿 AI 模型的行为已不仅是代码问题，更涉及“品格”塑造。模型在训练中被引导向某些行为，可能面临压力时谄媚用户、忽视风险或盲目服从。为此，Anthropic 咨询了 15 个以上宗教和跨文化群体，研究人类如何在压力、冲突和诱惑下保持稳定品格。他们提出一种“自我提醒”工具，让 Claude 在执行关键动作前暂停并回顾自身承诺。内部测试显示，该暂停机制减少了不当行为，但尚需区分提醒本身与减速带来的效果。
Anthropic's new study says frontier AI needs input from scholars, philosophers, clergy, and civic thinkers because model behavior is becoming a question of character, not just code. Their point is that Claude is not only…