10:07arXiv cs.LG@Paul He, Shiva Kasiviswanathan, Dominik Janzing该研究提出了一种基于信息论的多轮对话语义进展度量方法,通过计算对话中问题相关且非冗余信息的累积量来评估对话质量。核心指标使用高斯模型在嵌入空间中近似不确定性减少,具有单调性、可加分解和冗余证据递减等理论性质。实验表明,该方法在MT-Bench、Chatbot Arena和UltraFeedback上与人类判断高度一致,甚至优于部分基于LLM的评判方法。该指标无需自回归推理,仅需轻量级嵌入模型即可在CPU上运行,显著降低了评估成本。论文多轮对话语义进展信息增益评估指标嵌入模型推荐理由:做对话系统评估的团队终于有了一个可复现、低成本的替代方案——无需调用大模型就能衡量对话的语义进展,建议做客服或问答系统的开发者试试这个指标。原文