Scoring

general · First seen 2026-05-22 · Last seen 2026-11-17 · 78 mentions

Overview

Scoring(评分/打分机制)是机器学习与 AI 系统中用数值衡量模型输出、预测或决策质量的一类核心方法,既包括统计学中经典的 proper scoring rules 等评估准则,也涵盖推荐系统、智能体评估等场景中的具体打分设计。随着大模型从生成走向判断与决策,scoring 正在成为独立的产品形态和研究热点。

Scoring 的近期进展

  • Google 推出 Gemini Decisions API:Google 发布只做判断、不生成回答的决策类 API,一次最多可问 1000 个问题,输入价格定为每百万 Token 0.1 美元、输出不收费。这说明 scoring 类能力正被做成低成本、大批量的独立服务,与生成式 API 形成分工。
  • Instrumenting Failure: Scoring Language Model Agents at Every Decision Node:研究者在非完美信息博弈中对语言模型智能体的每个决策节点逐一打分,用于定位失败发生的具体环节,反映出智能体评估正从结果导向转向过程导向。
  • CAPS:从日志 bandit 反馈学习校准决策头:该工作利用日志中的 bandit 反馈训练经过校准的决策头,关注的是打分结果的可靠性与校准问题——分数不仅要比出高下,还要能被下游直接使用。
  • Proper Scoring Rules for Right-Censored Survival Data:将 proper scoring rules 扩展到右删失生存数据场景,说明传统评分理论仍在向更复杂的数据形态延伸。
  • 此外,Sheaf-Inspired Structured Scoring Extensions of LightGCN 将层间预测(layer-wise scoring)的思路引入协同过滤的图神经网络,而 LOCOS 则用分散贡献评分来定位 Transformer 中的非字面检索注意力头,显示 scoring 作为分析工具也渗透到了可解释性研究。

    当前焦点与观察点

    当前围绕 scoring 的讨论集中在三个层面。其一是产品化:Gemini Decisions API 以极低定价把判断类能力单独开放,可能催生“生成”与“判分”分离的系统架构,判断模型不必是最强模型也能提供有效信号——有实践者指出,本身不擅长某任务的模型仍可通过合理评分机制辅助更强的模型。其二是评估粒度:对智能体在每个决策节点打分,比只看最终胜负更能定位失败原因,但如何定义中间步骤的“好”仍是开放问题。其三是校准与理论边界:从 bandit 反馈学到删失数据的 scoring rules,研究者持续追问分数在偏斜反馈、信息不完整条件下的可信度。值得观察的是,判断类 API 的定价与准确率表现,以及过程级评分能否形成可复用的标准基准。

    Coverage

    10 on file