Fleiss Kappa(弗莱斯卡帕系数,Fleiss' Kappa)是一种用于衡量多个评分者对同一批对象进行分类时一致性程度的统计指标,由 Joseph Fleiss 提出,常被用于评估数据标注质量。在当前大模型评测和 AI 安全研究中,Fleiss Kappa 被广泛用作判断标注集可靠性的核心依据——模型评测结论是否可信,很大程度上取决于标注一致性是否达标。
Fleiss Kappa 相关的近期进展
当前焦点与观察点
从近期文献看,Fleiss Kappa 的应用重心正在从传统社会科学的问卷编码,转向 AI 评测数据集的构建环节,尤其是安全对齐、风险分类和多语言场景下的标注质量控制。三个代表性工作都体现了同一逻辑:先通过多评分者一致性检验确认标注可靠,再将其作为模型能力或风险评测的基准。
值得观察的问题有两个。其一,在恶意内容判定、立场识别这类主观性强的任务上,Fleiss Kappa 达到多少才算“足够一致”,学界仍无统一标准,不同研究采用的阈值差异明显。其二,标注者一致性高并不等于标签正确——当评分者共享同一种偏见时,Fleiss Kappa 可能给出虚高的一致性读数,这也是它常被与 Krippendorff's Alpha 等指标对比讨论的原因。对于依赖共识标注构建评测集的团队而言,理解该指标的适用边界比单纯追求高数值更为重要。