Event ·Single source

LoCoMo 得分拆解:评委与答案提示词对分数影响可达 9.3 分

一篇 arXiv 论文系统测量了长对话记忆基准 LoCoMo 分数对评测配置的敏感度。实验覆盖 10 段对话共 1,540 个问题,使用 gpt-4o-mini 与 gpt-4.1-mini 两个答案模型、两种答案提示词和三个 LLM 评委:只更换评委最多使分数变动 7.2 分,只换答案提示词最多变动 9.3 分。 论文以黑盒方式评测了面向编程智能体的团队记忆系统 Becos。Becos 从比整段对话少 90% 字符的上下文中生成答案,在 gpt-4o-mini 作答时显著高于整段对话基线(短提示词下 79.7 对 73.0,差值 95% 置信区间 +3.8 到 +9.5;分步提示词下 88.8 对 77.5),但换用 gpt-4.1-mini 时两者基本持平(83.2 对 83.1,92.5 对 92.1)。 作者对 150 个答案做了盲测人工核查,发现评委在意见一致时可靠,且主要评委在有争议答案上的误判反而不利于 Becos。论文同时指出 Becos 的配置是在 LoCoMo 本身上调出来的,没有留出测试集,并已公开全部答案、判定结果和评分脚本。

Current read

如果你常看各家记忆系统的 LoCoMo 分数,这篇会改变你的读法:换个评委分数能差 7.2 分,换个提示词差 9.3 分。作者还把全部答案和评分脚本开源了,做 agent 记忆或跑基准的开发者都该看。

2 sources36° AI heatLast updated 2026/11/14 06:41:22

Evidence

2 sources
Primary sourcearXiv cs.AI
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.

LoCoMo 得分拆解:评委与答案提示词对分数影响可达 9.3 分 · 事件专题 | AITOP