arXiv cs.AI@Jiaxin Wu, Yihao Pi, Yinling Zhang, Yuheng Li, Xueyan Zou精选58生成式视频模型常被当作隐式世界模型,但现有评估方法依赖人工判断或学习评分器,难以诊断几何错误。研究者提出PDI-Bench框架,通过分割、点跟踪和单目重建,将生成视频中的物体提升到3D世界坐标,计算尺度-深度对齐、3D运动一致性和3D结构刚性三个维度的残差。配套的PDI-Dataset覆盖多种几何约束场景,测试发现当前最先进的视频生成器存在一致的几何特定失败模式,这些模式不被常见感知指标捕获。该框架为迈向物理可信的视频生成提供了诊断信号。论文视频生成世界模型几何一致性评估框架3D重建推荐理由:视频生成模型常被当作世界模型,但几何一致性是硬伤——PDI-Bench用定量方法暴露了现有模型在3D结构上的系统性失败,做视频生成或世界模型研究的团队值得用它来诊断自己的模型。
arXiv cs.LG@Tara Bogavelli, Gabrielle Gauthier Melançon, Katrina Stankiewicz, Oluwanifemi Bamgbose, Fanny Riols, Hoang H. Nguyen, Raghav Mehndiratta, Lindsay Devon Brin, Joseph Marinier, Hari Subramani, Anil Madamala, Sridhar Krishna Nemala, Srinivas Sunkara精选65EVA-Bench 是一个全新的端到端评估框架,专门用于测试语音智能体(Voice Agents)在真实对话场景中的表现。它解决了现有基准无法同时模拟动态对话和全面衡量语音特有失败模式的问题。框架包含 213 个企业级场景,并引入两个复合指标:EVA-A(准确性)和 EVA-X(体验),分别评估任务完成度、忠实度、语音保真度以及对话流畅性、简洁性和轮次时机。在 12 个系统上的测试显示,没有系统能同时在两个指标上超过 0.5,且峰值性能与可靠性能差距显著。该框架已开源,为语音智能体的标准化评估提供了新工具。论文语音智能体评估框架基准测试企业应用开源推荐理由:做语音智能体或对话系统的团队终于有了一个能同时测准确性和体验感的基准——EVA-Bench 覆盖了企业场景和噪声鲁棒性,直接帮你对比不同架构的优劣,建议点开看看具体指标设计。
arXiv: DeepSeek@Xia Yang, Xuanyi Zhang, Hao Hu, Feng Ji60本研究提出一个评估LLM数学推理策略多样性的框架,通过80个AMC和AIME数学问题及217个参考解题策略,测试了四个前沿模型。在单一提示下,所有模型准确率达95%-100%;但在多策略提示下,Gemini生成184个有效策略,DeepSeek 152个,GPT 151个,Claude 110个。模型总共发现50个基准之外的新策略,但在几何和数论领域差距最大。重复运行测试中,最强模型三次运行仅恢复参考集71%的策略。研究认为策略多样性是评估数学推理能力的重要补充维度。论文推理模型数学推理评估框架策略多样性推荐理由:该研究揭示了当前LLM数学能力评估的盲区:高准确率不等于推理多样性。对于数学教育和技术应用而言,理解模型能否灵活切换解题思路至关重要,这一框架为未来评估提供了新方向。