DecisionBench 是一个用于评估大语言模型路由决策能力的基准测试,衡量模型在给定查询时能否以合理成本选出最合适的下游模型完成任务。随着模型路由、级联调用成为降本的主流手段,DecisionBench 逐渐被视为衡量'决策模型'(Decider)性价比的关键参考。
DecisionBench 近期进展
当前焦点与观察点
当前围绕 DecisionBench 的讨论集中在两点:一是榜单是否充分反映了真实负载下的路由质量,包括成本、延迟与准确率的权衡;二是决策模型本身会不会被专用小模型取代。Perplexity Decider V1.1 '登顶且最便宜'的成绩,与 ScaleDown 等专用模型路线的出现,都指向同一个趋势——推理层正在从'一个模型干所有事'走向分层分工,DecisionBench 这类基准的权威性和覆盖面将直接影响路由方案的选型,值得持续跟踪。