System1-Arena 基准：哪些决策可以交给 System 1 模型

arXiv 论文提出 System1-Arena，一个评估 System 1 类模型（如 Jev 和 OpenAI Decisions API）直接输出决策概率能力的基准。该基准包含 92k 道题、105 个任务，数据来自 268 个公开来源，另含 138 个闭环环境，覆盖网页购物、SWE-bench 编程控制、机器人、游戏和驾驶。评测了 30 个模型，其中 7 个闭源 LLM、13 个开源 LLM、10 个 System 1 模型。结果显示最大的 System 1 模型在非智能体任务上的准确率匹敌或超过快速闭源 LLM，且概率校准更好，延迟只有四分之一；推理型 LLM 准确率最高，但成本约为快速 LLM 的 70 倍。闭环环境中大型开源 LLM 成功率最高达 32.9%，小型 System 1 模型很少成功。