Jev-Mem 记忆系统:用快慢双系统管理 AI 长期记忆
让 AI 记住你的好办法:贵的模型只在最后一步出场,杂活交给 Jev,速度快 6.6 倍,GitHub 有代码。
Jev-Mem 把记忆管理拆成两层:快思考层用 Jev 做打标签、分类和筛选,慢思考层才让 LLM 做最终推理,避免大模型逐字处理全部历史记录。在 LoCoMo 长对话基准上,建记忆速度比同类系统快 6.6 倍。检索延迟降低三分之一以上,平均响应 0.93 秒。在多步推理和识破误导性问题的测试中,准确率超过其他主流记忆方案。
Jev-Mem:结合了Jev的记忆系统
思路很好,充分利用了Jev的快速分类能力。
现在的 AI 助手在处理长期任务时,需要记住用户的喜好、历史聊天和背景知识。以往的做法主要依赖大语言模型自己去逐字阅读、归纳和检索历史。这种方式不仅反应慢、花费高,而且面对海量信息时,大模型还容易找错重点。
Jev-Mem把记忆管理分成了两套系统:
快思考,使用Jev(系统一):负责干杂活与快速决策。 它专注于做打标签、连线分类和打分筛选。比如新存入一句话时,它会快速判断这是日常事件还是用户偏好,并自动把相关联的时间、因果关系串起来;查找时,它会快速判断该去哪类记录里找、找到多少线索就可以停手,全程不需要大模型慢吞吞地逐字生成文字。
慢思考,使用LLM(系统二):负责最终的深度推理。 昂贵的大模型只在最后一步登场,直接拿“快思考”整理好的精准证据来组织语言、给出最终回答。
Jev-Mem 在长对话测试(LoCoMo)中取得了明显优势: 建立长期记忆的速度比现有的同类记忆系统快了 6.6 倍,耗时大幅缩减。 回答问题时的检索延迟降低了三分之一以上,平均响应只需 0.93 秒。 在复杂多步骤推理以及识破误导性问题的测试中,回答准确率超过了对比的其他主流记忆方案。
Github:https://t.co/ApNliWkFtS