对齐 Alignment
对齐是让 AI 系统的目标与行为符合人类意图和价值观的研究与工程实践,包括拒绝有害请求、诚实表达不确定性等。
常用手段是 RLHF/RLAIF、宪法式 AI(用一组原则引导模型自我修正)等。随着模型能力增强,对齐从「不说脏话」扩展到欺骗性行为检测、长远目标安全等更深的议题。
相关词条
对齐是让 AI 系统的目标与行为符合人类意图和价值观的研究与工程实践,包括拒绝有害请求、诚实表达不确定性等。
常用手段是 RLHF/RLAIF、宪法式 AI(用一组原则引导模型自我修正)等。随着模型能力增强,对齐从「不说脏话」扩展到欺骗性行为检测、长远目标安全等更深的议题。