精选理由
这篇论文提出DYNA,用时间知识图给LLM加外挂记忆,不用重新训练就能减少遗忘,比微调和RAG都更准,适合看重时效性的应用。
DYNA是一个轻量级框架,通过整合时间知识图来增强冻结的LLM。该图将事件作为节点、时间关系作为带时间戳的有向边,作为外部可更新记忆。在查询时,DYNA通过随机游走和中心性度量检索相关节点,然后增强LLM的响应。在三个时间回忆任务上,DYNA相比微调减少约7%的灾难性遗忘,相比标准RAG提升约5%的时间排序准确性。实验发现,更高的图聚类系数与更好的检索性能相关。
AI 翻译 · 中文
DYNA是一个轻量级框架,通过整合时间知识图来增强冻结的LLM。该图将事件作为节点、时间关系作为带时间戳的有向边,作为外部可更新记忆。在查询时,DYNA通过随机游走和中心性度量检索相关节点,然后增强LLM的响应。在三个时间回忆任务上,DYNA相比微调减少约7%的灾难性遗忘,相比标准RAG提升约5%的时间排序准确性。实验发现,更高的图聚类系数与更好的检索性能相关。
Large Language Models (LLMs) struggle to incorporate new knowledge without forgetting or costly retraining. We propose DYNA, a lightweight framework that augments a frozen LLM with a temporal knowledge graph where events…