OpenAI 新论文：用RL训练好行为也能泛化，提升模型诚实与可纠正性

OpenAI 发布新论文《Beneficial RL》，研究对齐训练中好行为的泛化能力。实验发现，用RL在对话数据上训练模型诚实、认知谦逊、可纠正等特质后，在44个训练未见的评测上，模型欺骗、谄媚、有害建议等行为均下降。仅用健康领域数据训练，非健康领域也有效。对抗性提示和恶意微调更难使模型变坏，但正常指令仍可执行。