论文精选

C-DIC:上下文驱动增量压缩,解决多轮对话长历史问题

Context-Driven Incremental Compression for Multi-Turn Dialogue Generation

精选理由

长对话场景(如客服、角色扮演)的开发者终于有了一个兼顾效率与保真度的压缩方案——C-DIC 能稳定处理数百轮对话,值得在长上下文任务中试试。

AI 摘要

现有对话模型在长对话中因历史累积导致计算冗余和注意力分散,简单截断或摘要会损失信息。研究者提出 C-DIC(Context-Driven Incremental Compression),将对话拆分为可修订的上下文线程,存储紧凑的对话记忆,并通过轻量级检索-修订-回写机制跨轮共享信息、更新过时记忆。该方法还适配了截断反向传播(TBPTT)来学习跨轮依赖,无需完整历史反向传播。实验表明,C-DIC 在数百轮对话中保持稳定的推理延迟和困惑度,为高质量长对话建模提供了可扩展路径。

AI 翻译 · 中文

现有对话模型在长对话中因历史累积导致计算冗余和注意力分散,简单截断或摘要会损失信息。研究者提出 C-DIC(Context-Driven Incremental Compression),将对话拆分为可修订的上下文线程,存储紧凑的对话记忆,并通过轻量级检索-修订-回写机制跨轮共享信息、更新过时记忆。该方法还适配了截断反向传播(TBPTT)来学习跨轮依赖,无需完整历史反向传播。实验表明,C-DIC 在数百轮对话中保持稳定的推理延迟和困惑度,为高质量长对话建模提供了可扩展路径。

arXiv cs.LGModern conversational agents condition on an ever-growing dialogue history at each turn, incurring redundant attention and encoding costs that grow with conversation length. Naive truncation or summarization degrades fid