Chinese contentarXiv 论文:对话历史会让 LLM 推理准确率大幅下降
做多轮 Agent 或对话系统的人该看看这篇。它用 48 个数学任务和 CDR-Stream 基准证明对话历史会把准确率拖垮,摘要替代能高出 0.5 以上,而且常用监控指标根本测不出问题。工程上直接可用的结论:状态放 transcript 外面。
做多轮 Agent 或对话系统的人该看看这篇。它用 48 个数学任务和 CDR-Stream 基准证明对话历史会把准确率拖垮,摘要替代能高出 0.5 以上,而且常用监控指标根本测不出问题。工程上直接可用的结论:状态放 transcript 外面。