论文精选

RBI-Eval:衡量记忆增强对话代理何时不该使用敏感记忆

When Should Memory Stay Silent: Measuring Memory-Use Boundaries in Memory-Augmented Conversational Agents

精选理由

该研究揭示了记忆增强AI代理在敏感信息使用上的关键盲区,做对话系统和个性化AI的开发者值得关注——它直接关系到用户隐私和信任。

AI 摘要

该研究提出了RBI-Eval评估框架,用于衡量记忆增强型对话代理在何时不应将敏感记忆整合到回复中。研究发现,当模型访问敏感记忆时,GPT-5.4-mini的敏感记忆整合分离分数下降8.9%-26.6%,而Claude-Sonnet-4.6、DeepSeek-V4-Flash和Qwen3.5-9B则下降51.1%-82.9%,表明不同模型对敏感记忆的过度使用程度差异巨大。控制实验证实这种效应是敏感内容特有的,而非一般个性化。检索系统虽能减少暴露,但一旦敏感记忆到达生成器,整合仍会发生。该研究强调安全个性化需要在检索和生成两个阶段都做出记忆感知的决策。

AI 翻译 · 中文

该研究提出了RBI-Eval评估框架,用于衡量记忆增强型对话代理在何时不应将敏感记忆整合到回复中。研究发现,当模型访问敏感记忆时,GPT-5.4-mini的敏感记忆整合分离分数下降8.9%-26.6%,而Claude-Sonnet-4.6、DeepSeek-V4-Flash和Qwen3.5-9B则下降51.1%-82.9%,表明不同模型对敏感记忆的过度使用程度差异巨大。控制实验证实这种效应是敏感内容特有的,而非一般个性化。检索系统虽能减少暴露,但一旦敏感记忆到达生成器,整合仍会发生。该研究强调安全个性化需要在检索和生成两个阶段都做出记忆感知的决策。

arXiv: DeepSeekLong-term memory enables language model agents to support personalized interactions, but it remains unclear when available memories warrant integration into responses. Existing memory evaluations emphasize retrieval accu