11:06arXiv cs.AI@Chunru Lin, Hongxin Zhang, Fenghao Yu, Zhehuan Chen, Thomas L. Griffiths, Yejin Choi, David Held, Chuang GanRoboWits 是一个双手机器人基准测试,旨在系统评估机器人在意外条件下的认知推理、创造性工具使用和鲁棒性。研究团队提出了一个多智能体协作框架,自动生成包含几何、材料和装配推理的 30 个种子任务和 208 个变异任务。测试发现,预训练的视觉-语言-动作模型(VLA)在种子任务上表现尚可,但在变异任务上表现脆弱,无法应对需要推理和策略适应的操作场景。这表明当前机器人策略在创造性问题解决方面存在显著差距。论文机器人基准测试认知推理视觉-语言-动作模型创造性问题解决推荐理由:机器人研究者终于有了一个专门测试认知推理和意外应对的基准——RoboWits 揭示了 VLA 模型在变异任务上的脆弱性,做机器人操作和具身智能的团队值得关注这个评估框架。原文
10:12arXiv cs.AI@Zhaoyue Sun, Hainiu Xu, Andero Uusberg, James J. Gross, Petr Slovak, Yulan He精选现有LLM情绪理解评估依赖离散标签预测,忽略了情绪产生的认知过程。研究者基于评价理论提出CAREBench,首个包含完整推理链注释的基准,涵盖评价推理、评价评分和多标签情绪标注,从第一和第三人称视角分析真实叙事。实验发现,强模型在某些任务上达到或超越人类,但在评价推理和积极情绪识别上仍有不足;模型在推理链步骤和评价干预敏感性上表现出分离现象,且未内化人类主观异质性的机制。这表明下游情绪预测指标可能高估了LLM的真实情绪理解能力,CAREBench为更诊断性的情感认知评估提供了基础。论文LLM情绪理解评价理论基准测试认知推理推荐理由:做AI情感计算或人机交互的团队,这个基准能帮你发现模型在情绪理解上的真实短板——别被下游指标骗了,建议点开看看评价推理链的设计。原文