他们搞了个带记忆的 8B 多模态智能体，20 轮对话检索准确率 91.4%，比 32B 模型还快一半。代码和 demo 都开源了，值得看。
该论文提出 Cognitive-structured Multimodal Agent (CMA)，通过外化视觉信息至 Episodic Visual Memory 并在推理时选择性激活相关片段，解决统一多模态模型在长时对话中视觉 token 爆炸和跨轮引用不可靠的问题。CMA 由 Perceptual Abstraction Engine、Cognitive Retrieval Engine 和 Multimodal Executive Controller 组成。利用 Unified Scenario Engine 生成带细粒度检索标注的结构化多轮对话，并通过强化学习优化策略。在自主构建的长程视觉对话基准上，8B 参数的 CMA 在 20 轮会话中达到 91.4% 检索准确率，比 32B 基线高 8.2%，每轮推理时间从 23.1 秒降至 12.7 秒。
该论文提出 Cognitive-structured Multimodal Agent (CMA)，通过外化视觉信息至 Episodic Visual Memory 并在推理时选择性激活相关片段，解决统一多模态模型在长时对话中视觉 token 爆炸和跨轮引用不可靠的问题。CMA 由 Perceptual Abstraction Engine、Cognitive Retrieval Engine 和 Multimodal Executive Controller 组成。利用 Unified Scenario Engine 生成带细粒度检索标注的结构化多轮对话，并通过强化学习优化策略。在自主构建的长程视觉对话基准上，8B 参数的 CMA 在 20 轮会话中达到 91.4% 检索准确率，比 32B 基线高 8.2%，每轮推理时间从 23.1 秒降至 12.7 秒。
Recent unified multimodal models show a single architecture can jointly perform vision/language understanding and image generation/editing. However, they repeatedly feed all historical visual and textual inputs into a sh…