幻觉 Hallucination
幻觉指大模型生成看似流畅可信、实则与事实不符或凭空编造的内容,是生成式 AI 落地的主要风险之一。
根源在于模型的目标是「生成最可能的下一个词」而非「陈述真实」。缓解手段包括 RAG 溯源、要求引用来源、置信度校准、以及产品层的人工复核;完全消除目前做不到,高风险场景必须保留验证环节。
相关词条
幻觉指大模型生成看似流畅可信、实则与事实不符或凭空编造的内容,是生成式 AI 落地的主要风险之一。
根源在于模型的目标是「生成最可能的下一个词」而非「陈述真实」。缓解手段包括 RAG 溯源、要求引用来源、置信度校准、以及产品层的人工复核;完全消除目前做不到,高风险场景必须保留验证环节。