10:42官方账号arXiv cs.LG@Karim Radouane, Jose G Moreno, Lynda Tamine该论文提出 Geo-Spatial Concept Probing 基准,针对方向、距离、拓扑等空间概念及其组合进行受控测试。他们使用问答任务作为代理,在多种 LLM 架构和训练设置下开展实验,分析模型规模与设计的影响。结果显示当前 LLM 在概念的抽象性、组合性和基础性上存在明显局限,代码将在 GitHub 公开。论文Geo-Spatial Concept Probing空间概念概念理解推荐理由:这篇论文搞了个空间概念测试,专门考大模型的方向、距离和组合推理,结果发现它们比想象中笨。原文稍后读已读值得跟进有用关注 Geo-Spatial Concept Probing