DYNA:利用时间知识图增强大语言模型的持续学习能力

DYNA : Dynamic Episodic Memory Networks for Augmenting Large Language Models with Temporal Knowledge Graphs in Continuous Learning

精选理由

这篇论文提出DYNA,用时间知识图给LLM加外挂记忆,不用重新训练就能减少遗忘,比微调和RAG都更准,适合看重时效性的应用。

AI 摘要

DYNA是一个轻量级框架,通过整合时间知识图来增强冻结的LLM。该图将事件作为节点、时间关系作为带时间戳的有向边,作为外部可更新记忆。在查询时,DYNA通过随机游走和中心性度量检索相关节点,然后增强LLM的响应。在三个时间回忆任务上,DYNA相比微调减少约7%的灾难性遗忘,相比标准RAG提升约5%的时间排序准确性。实验发现,更高的图聚类系数与更好的检索性能相关。

AI 翻译 · 中文

DYNA是一个轻量级框架,通过整合时间知识图来增强冻结的LLM。该图将事件作为节点、时间关系作为带时间戳的有向边,作为外部可更新记忆。在查询时,DYNA通过随机游走和中心性度量检索相关节点,然后增强LLM的响应。在三个时间回忆任务上,DYNA相比微调减少约7%的灾难性遗忘,相比标准RAG提升约5%的时间排序准确性。实验发现,更高的图聚类系数与更好的检索性能相关。

arXiv cs.LGLarge Language Models (LLMs) struggle to incorporate new knowledge without forgetting or costly retraining. We propose DYNA, a lightweight framework that augments a frozen LLM with a temporal knowledge graph where events