12:09arXiv cs.LG@Yeongseo Jung, Jaehyeok Kim, Eunseo Jung, Jiachuan Wang, Yongqi Zhang, Ka Chun Cheung, Simon See, Lei Chen精选现有对话模型在长对话中因历史累积导致计算冗余和注意力分散,简单截断或摘要会损失信息。研究者提出 C-DIC(Context-Driven Incremental Compression),将对话拆分为可修订的上下文线程,存储紧凑的对话记忆,并通过轻量级检索-修订-回写机制跨轮共享信息、更新过时记忆。该方法还适配了截断反向传播(TBPTT)来学习跨轮依赖,无需完整历史反向传播。实验表明,C-DIC 在数百轮对话中保持稳定的推理延迟和困惑度,为高质量长对话建模提供了可扩展路径。论文对话系统上下文压缩长对话增量学习C-DIC推荐理由:长对话场景(如客服、角色扮演)的开发者终于有了一个兼顾效率与保真度的压缩方案——C-DIC 能稳定处理数百轮对话,值得在长上下文任务中试试。原文