SCORE 是 OpenAI 最新发布的 Decisions API 中支持的三种决策类型之一,与 Predicate、Choice 并列,用于让开发者在调用大模型时获得量化的评分型决策输出,而不是仅靠自由文本判断。这一 API 的推出标志着 OpenAI 正式将“结构化决策”作为面向开发者的产品能力,而不仅是生成文本。
OpenAI Decisions API 与 SCORE 类型
OpenAI 的 Decisions API 正式上线,支持 Predicate(谓词判断)、Choice(选项选择)和 Score(评分)三种决策类型,并同步推出了 Decisions API Playground 供开发者在线调试。相关报道见 OpenAI Decisions API 正式发布 与 Decisions API Playground 上线。Score 类型的意义在于把模糊的主观评估(如内容质量、风险程度)转化为可复现的数值输出,便于下游系统集成与自动化流程。
与评测、置信度研究的呼应
Score 类输出与近期学术界对模型评估和置信度的关注相互印证。一方面,LG-Bench:生命科学领域首个图结构评测基准 等工作显示评分式基准正在向专业领域扩展;另一方面,CoCHI:从模型内部纠正 LLM 过度自信错误的新框架 指出模型在给出高分或肯定结论时常伴随过度自信,这正是量化评分类应用需要警惕的问题。
当前焦点与观察点
目前对 Decisions API 中 Score 类型的公开评测还很少,其实际稳定性、跨场景一致性尚待验证。值得关注的观察点包括:一是 Score 与传统打分函数(如奖励模型打分)的关系是否会形成统一规范;二是评分结果的可解释性与校准问题能否得到解决;三是社区能否建立类似 CoCHI 的纠偏机制来约束评分偏差。在更多第三方实测数据出现之前,对 Score 类型的效果保持谨慎观察是合理的。