主要来源arXiv: DeepSeek
查看原文事件专题 · 官方一手
EYT-Bench:以人为中心的多轮对话新基准,解耦用户模拟、目标建模与评判
EYT-Bench是一个评估LLM多轮对话能力的基准,采用三部分解耦设计:基于人工语料库(Nemotron-Personas-USA和PersonaMem-v2)的特定角色用户模拟器、分离意图感知与回复生成的目标模型、以及独立第三方LLM评判器。在17个目标模型×200段对话的评估中,闭源与开源模型在主观维度(共情/人格化等)差异不超过0.3,但客观意图追踪差距可达9倍。开启推理模式后,Gemma-4的长上下文潜在意图准确率提升0.47-0.50。交叉评判消融实验通过DeepSeek-v4-pro验证了目标排名和最终意图满意度的一致性。
当前结论
这篇论文提出了EYT-Bench,能更真实地测出LLM在多轮对话中的意图追踪能力。用16/17模型发现推理模式大幅提升长上下文准确率,值得关注。
3 个信源58° AI 热度最后更新 2026/7/11 18:22:49
证据链
相关来源 1Viking
查看原文相关来源 2Clement Delangue
查看原文冲突核查
现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。