11:14
官方一手arXiv: DeepSeek@Jinglan Gong, Jiefan Lu, Hewei Guo, Kehan Li, Zhiyuan Han, Jihang Jiang, Wenwen Tong, Lewei Lu
推荐理由：这篇论文提出了EYT-Bench，能更真实地测出LLM在多轮对话中的意图追踪能力。用16/17模型发现推理模式大幅提升长上下文准确率，值得关注。
EYT-Bench
共 1 条相关 AI 资讯
7月14日
11:14
EYT-Bench是一个评估LLM多轮对话能力的基准，采用三部分解耦设计：基于人工语料库（Nemotron-Personas-USA和PersonaMem-v2）的特定角色用户模拟器、分离意图感知与回复生成的目标模型、以及独立第三方LLM评判器。在17个目标模型×200段对话的评估中，闭源与开源模型在主观维度（共情/人格化等）差异不超过0.3，但客观意图追踪差距可达9倍。开启推理模式后，Gemma-4的长上下文潜在意图准确率提升0.47-0.50。交叉评判消融实验通过DeepSeek-v4-pro验证了目标排名和最终意图满意度的一致性。