精选理由
这个基准揭示了 LLM 在空间推理上的真实短板，做模型评估或研究空间智能的团队值得关注——边数作为难度指标的新发现可能改变未来基准设计。
PlanarBench 是一个新基准，通过让大语言模型根据边列表绘制平面图的 ASCII 艺术来评估其空间推理能力。该任务通过随机排列边顺序、方向和节点标签来防止记忆。研究测试了 91 个模型在 199 个最简单的非异构连通平面图（2-7 个节点）上的表现。关键发现是边数比节点数更能预测任务难度（相关系数 r=-0.85），这一结论在之前的 LLM 图基准中未被报告。
AI 翻译 · 中文
PlanarBench 是一个新基准，通过让大语言模型根据边列表绘制平面图的 ASCII 艺术来评估其空间推理能力。该任务通过随机排列边顺序、方向和节点标签来防止记忆。研究测试了 91 个模型在 199 个最简单的非异构连通平面图（2-7 个节点）上的表现。关键发现是边数比节点数更能预测任务难度（相关系数 r=-0.85），这一结论在之前的 LLM 图基准中未被报告。
PlanarBench tests whether LLMs can draw planar graphs as ASCII art given only an edge list -- a spatial reasoning task that resists memorization because edge order, edge orientation, and node labels are all permutable. …