DecisionBench

general · First seen 2026-10-08 · Last seen 2026-10-13 · 7 mentions

Overview

DecisionBench 是一个用于评估大语言模型路由决策能力的基准测试,衡量模型在给定查询时能否以合理成本选出最合适的下游模型完成任务。随着模型路由、级联调用成为降本的主流手段,DecisionBench 逐渐被视为衡量'决策模型'(Decider)性价比的关键参考。

DecisionBench 近期进展

  • Perplexity Decider V1.1 登顶 DecisionBench,成本最低:Perplexity 发布的 Decider V1.1 在 DecisionBench 上登顶,同时是榜单上成本最低的决策模型。这延续了 Perplexity 在模型路由方向上的投入——用一个轻量决策模型前置判断,把查询分发给合适的专家模型,从而压低整体推理开销。
  • ScaleDown 推出 Constrained Decoding Models 并接入 LangChain 生态:ScaleDown 发布了面向单一任务的约束解码模型家族 CDM,并接入 LangChain,为路由与执行链路提供了新的工程选项。
  • ScaleDown 发布 Constrained Decoding Models:1M token 多模态输入,比前沿 LLM 快 200 倍:CDM 支持 1M token 的多模态输入,官方宣称在特定任务上比前沿 LLM 快 200 倍。这类窄而专的模型与决策模型配合,正在形成'便宜决策 + 专用执行'的调用范式。
  • ScaleDown 推出约束解码模型家族 CDM,专为单一任务设计:CDM 已在 OpenRouter 渠道亮相,单一任务定位意味着它更依赖上游的智能路由来发挥价值。
  • 当前焦点与观察点

    当前围绕 DecisionBench 的讨论集中在两点:一是榜单是否充分反映了真实负载下的路由质量,包括成本、延迟与准确率的权衡;二是决策模型本身会不会被专用小模型取代。Perplexity Decider V1.1 '登顶且最便宜'的成绩,与 ScaleDown 等专用模型路线的出现,都指向同一个趋势——推理层正在从'一个模型干所有事'走向分层分工,DecisionBench 这类基准的权威性和覆盖面将直接影响路由方案的选型,值得持续跟踪。

    Coverage

    4 on file