Brier 分数(Brier Score)是评估概率预测准确性的经典评分规则,由 Glenn Brier 于 1950 年提出,计算预测概率与实际结果之间平方差均值,取值越低代表预测越准。它是天气预报、医疗生存分析和机器学习模型校准评估中最常用的指标之一,也常作为衡量模型“校准度+判别力”的综合基准。随着大模型预测能力和概率评估需求上升,围绕 Brier 分数的研究近期在多个方向出现了新的进展。
Brier 分数相关的近期研究进展
在生存分析领域,竞争风险生存分析:损失函数比网络结构更关键的研究指出,在含竞争风险的场景下,损失函数的选择对模型表现的影响超过网络结构本身,而 Brier 类损失正是其中的核心选项。与之呼应,Proper Scoring Rules for Right-Censored Survival Data 探讨了如何在右删失数据上构造包括 Brier 分数在内的严格评分规则,为医疗与工程领域的删失评估提供理论支撑。
在机器学习方法层面,防御性Boosting:在线概率预测的新方法提出了一种面向在线概率预测的 Boosting 框架,以最小化 Brier 损失为目标。此外,ART 人工代表树结合 CPS,让单棵树输出预测区间与超越概率与 DSS-GNN:用双谱随机展开统一图神经网络的不确定性表示分别从树模型和图神经网络角度讨论了概率预测质量的评估问题。
LLM 时代 Brier 评分的应用与争议
大语言模型的预测能力评测正成为 Brier 分数的新应用场景。评分规则如何影响LLM预测性能研究了训练与评估时采用 Brier 等不同评分规则对 LLM 预测任务表现的影响,结果显示评分规则的选择会显著改变模型输出行为。在应用侧,Pitwall:从校准实时蒙特卡洛引擎生成可信F1策略简报将校准后的概率预测用于 F1 比赛策略,而从比分矩阵到足球感知的赛况模拟则在体育比分预测中使用类似的可审计评估框架。
当前焦点与观察点
当前围绕 Brier 分数的讨论集中在三个方向:一是删失与竞争风险等复杂数据下如何正确推广该指标;二是评分规则本身对模型训练的反馈效应,尤其是 LLM 是否会因优化目标不同而改变校准特性;三是预测区间与超越概率等更丰富的输出形式如何纳入统一评估体系。可以预见,随着概率预测在体育、医疗和大模型评测中的普及,这一传统指标仍将是衡量预测质量绕不开的基准。