Terminal-Bench

general · First seen 2026-05-22 · Last seen 2026-10-27 · 424 mentions

Overview

Terminal-Bench 是一个面向智能体(Agent)在真实终端环境中完成任务的评测基准,考察模型操作命令行、调试代码、执行多步骤工作流的能力,已成为衡量大模型编程与智能体水平的常用标尺。随着各家模型在传统代码测试上的成绩趋于饱和,Terminal-Bench 这类更贴近实际使用场景的评测正越来越多地出现在模型发布的宣传材料中,其结果解读也随之成为社区关注的焦点。

Terminal-Bench 近期进展

近期热度主要来自月之暗面的 Kimi K3.1 Pro 发布。根据 Moonshot AI 发布 Kimi K3.1 Pro:Terminal-Bench 得 65.7%,11 月 4 日开放全量权重,该模型在 Terminal-Bench 上取得 65.7% 的成绩,并计划于 11 月 4 日开放全部权重。

Cline 的对比数据显示,Kimi K3.1 Pro 在 Terminal-Bench 4.0 上成绩逼近 Anthropic 的 Opus 5.5,而成本约为后者的一半。这一性价比数据被广泛引用,成为该模型宣传的核心卖点之一。

第三方评测机构 Artificial Analysis 也将该模型列入其智能指数榜单,据其报告,Kimi K3.1 Pro 排名第 4,并认为在开放权重发布后它有望成为最强的开放模型。

当前焦点与观察点

围绕这份成绩单也存在争议。有社区用户指出,Kimi 官方博客披露的数据与 Terminal-Bench 4.0 上的实测结果并不一致,引发了对厂商自行报告基准成绩可信度的讨论。模型厂商选择基准版本、评测配置和采样条件的空间较大,官方博客与独立榜单之间的出入并不罕见,但每一次都会影响外界对模型的判断。

此外,关于模型参数规格,不同来源的表述有差异:IT之家报道称其为 3 万亿参数、支持 100 万上下文,而 marktechpost 则描述为 2.8T 总参数的 MoE 架构。MoE 模型的总参数与激活参数本来就常被混用,这类出入提醒读者在引用规格时需留意口径。

接下来值得观察的点包括:11 月 4 日开放权重后,第三方在统一环境下复测的 Terminal-Bench 成绩能否复现官方数字;以及该模型在实际编程工具(如 Cline 等智能体客户端)中的表现是否与基准测试一致。对于关注开源模型追赶闭源旗舰节奏的人来说,Terminal-Bench 4.0 这轮对比提供了一个可量化的参照,但结论仍需等待更多独立验证。

Coverage

10 on file