知识编辑中的写入与抑制:路由专用双适配器的记忆辅助方法

When to Write and When to Suppress: Route-Specialized Dual Adapters for Memory-Assisted Knowledge Editing

精选理由

论文教你如何让AI知识编辑更精准

AI 摘要

该论文提出一种路由专用双适配器编辑器(Route-Specialized Dual Adapters),通过相关性路由器决定是否对提示应用编辑记忆,并训练编辑适配器和局部性适配器分别处理编辑和未编辑的提示。在CF、ZSRE和MQUAKE三个基准(各包含1000个案例)上,使用LLaMA-3.1-8B-Instruct模型时分别达到0.8180、0.8946和0.9922的概率偏好准确率,在Qwen3-8B上也表现一致。消融实验表明,性能提升主要来自分离编辑注入与非路由抑制的机制,而非单纯增加LoRA容量。

AI 翻译 · 中文

该论文提出一种路由专用双适配器编辑器(Route-Specialized Dual Adapters),通过相关性路由器决定是否对提示应用编辑记忆,并训练编辑适配器和局部性适配器分别处理编辑和未编辑的提示。在CF、ZSRE和MQUAKE三个基准(各包含1000个案例)上,使用LLaMA-3.1-8B-Instruct模型时分别达到0.8180、0.8946和0.9922的概率偏好准确率,在Qwen3-8B上也表现一致。消融实验表明,性能提升主要来自分离编辑注入与非路由抑制的机制,而非单纯增加LoRA容量。

arXiv cs.LGKnowledge editing systems must update selected facts while preserving nearby but irrelevant behavior. This paper studies this problem in a memory-assisted setting where an edit memory is retrieved at inference time and a