MACR框架:显式消解LLM参数与上下文知识冲突

Navigating Unreliable Parametric and Contextual Knowledge: Explicit Knowledge Conflict Resolution for LLM Inference

精选理由

这篇论文提出了MACR,能帮LLM自己判断知识是否可靠并解决矛盾,比过去的方法强不少,还能解释冲突。

AI 摘要

MACR针对LLM推理中参数知识与外部上下文之间的冲突,提出了一种显式消解机制。该方法首先用修改的语义熵衡量模型对答案的置信度,据此内部知识不足时再检索外部信息。然后引入三个专用智能体,分别归纳规则、分析潜在冲突并消解所有不一致。实验在多个基准上显著超过现有方法,并提供可解释的冲突消解过程。

AI 翻译 · 中文

MACR针对LLM推理中参数知识与外部上下文之间的冲突,提出了一种显式消解机制。该方法首先用修改的语义熵衡量模型对答案的置信度,据此内部知识不足时再检索外部信息。然后引入三个专用智能体,分别归纳规则、分析潜在冲突并消解所有不一致。实验在多个基准上显著超过现有方法,并提供可解释的冲突消解过程。

arXiv cs.AILarge language models (LLMs) have achieved strong performance across a wide range of language-based tasks by leveraging both extensive parametric knowledge and in-context learning ability, enabling them to incorporate ex