11:11arXiv cs.AI@Oleksandr NikitinPlanarBench 是一个新基准,通过让大语言模型根据边列表绘制平面图的 ASCII 艺术来评估其空间推理能力。该任务通过随机排列边顺序、方向和节点标签来防止记忆。研究测试了 91 个模型在 199 个最简单的非异构连通平面图(2-7 个节点)上的表现。关键发现是边数比节点数更能预测任务难度(相关系数 r=-0.85),这一结论在之前的 LLM 图基准中未被报告。论文空间推理基准测试大语言模型平面图评估推荐理由:这个基准揭示了 LLM 在空间推理上的真实短板,做模型评估或研究空间智能的团队值得关注——边数作为难度指标的新发现可能改变未来基准设计。原文