OpenAI研究：RL训练美德，好行为泛化至44项评测

OpenAI发现对齐大模型时存在涌现失调现象，即坏行为会泛化。他们反向实验用RL训练模型诚实、谦逊、可纠正等特质，仅混入小部分此类数据。结果在训练领域内模型变得更诚实透明；在44个独立评测（未见过）中，欺骗、谄媚、有害建议等行为全面下降，即使只用健康数据训练，非健康领域也受益。模型在对抗性提示和恶意微调下更坚韧，正常指令仍可听从。