6月18日
10:57
10:57官方账号arXiv cs.LG@Nikita Kachaev, Andrey Moskalenko, Matvey Skripkin, Nikita Kurlaev, Daria Pugacheva, Albina Burlova, Mikhail Kolosov, Denis Shepelev, Andrey Kuznetsov, Elena Tutubalina, Aleksandr I. Panov, Alexey K. Kovalev, Vlad Shakhuro
论文提出 Act2Answer 协议,通过让智能体在桌面场景中执行物体放置动作来选择答案,从而在动作层面评估 7 个 VLA 模型和 9 个 VLM 基线在常识与知识任务上的表现。研究发现,VLA 在简单概念上表现扎实,但在丰富语义类别上相比源 VLM 出现更大差距。实验还表明,VQA 联合训练有助于提升知识保留,而答案相关信息在 VLA 中层达到峰值,上层则衰减。
推荐理由:想知道微调后的机器人模型到底还记不记得常识?这篇论文用动作答题的方式测了7个VLA,发现简单概念还行,复杂知识掉得厉害。
6月12日
10:19
10:19官方账号arXiv cs.AI@Zach Studdiford, Gary Lupyan
该研究通过对比人类与25个大型语言模型在常识推理任务中的表现,发现两者在推理错误上存在相似模式。研究进一步识别出驱动LLM响应的注意力头,这些注意力头实现了模式匹配机制,并能预测人类因无关提示细节而产生的看似不合理的推理错误。结果表明,人类和LLM的日常因果推理更符合模式匹配而非抽象世界模型。
推荐理由:这项研究挑战了“人类推理基于抽象模型”的传统观点,对AI开发者和认知科学家都有启发——如果你关心LLM为何会犯“愚蠢”错误,或者想理解人类推理的底层机制,这篇论文值得一读。