macro-F1

concept · First seen 2026-06-10 · Last seen 2026-11-17 · 21 mentions

Overview

macro-F1 是一种分类模型评价指标,通过对每个类别的 F1 分数取算术平均来衡量整体性能,对类别不平衡问题尤其敏感,在多分类任务(如文本分类、生物医学标注、情感识别)中被广泛用作主要或对比指标。与准确率不同,它不按样本数加权,因此少数类别的表现会直接拉低总分,这也是它在长尾分布场景下备受关注的原因。

macro-F1 近期进展

  • CellCanon 发布:可解释、可更新的智能体细胞世界模型:在细胞生物学的多标签预测任务中,作者以 macro-F1 作为核心评估指标验证模型在罕见细胞类型上的泛化能力,体现了该指标在长尾类别场景中的参考价值。
  • FedASTRA:联邦超图学习中的潜在对应关系恢复方法:联邦学习场景下各类别数据分布天然不均,论文用 macro-F1 跨客户端比较分类一致性,说明该指标已成为分布式训练报告的常见基准。
  • SCOPE-AD:基于能量模型的阿尔茨海默病诊断智能体:医疗诊断中漏诊代价高,报告同时给出 macro-F1 与各类别召回,帮助读者判断模型是否牺牲了小类别。
  • SenFlow:混合文档中AI生成文本的句间流建模检测:AI 生成文本检测本质上是二分类任务,macro-F1 被用于衡量检测器在不同写作风格子集上的均衡表现。
  • 当前焦点与观察点

    围绕 macro-F1 的讨论集中在几个方面。其一,它对低频类别过于敏感:当一个类别 F1 接近零时,均值会被显著拉低,一些研究开始改用 macro-F1 与 macro-recall 的组合,或报告 weighted-F1 作对照,避免单一数字掩盖细节。其二,多标签任务下的计算口径尚未统一——阈值选取、是否对未出现类别计零分等实现差异,常导致不同论文间的数字不可直接比较。其三,随着大模型评测从单指标转向多维报告,macro-F1 的角色更多是「均衡性诊断」而非唯一排名依据,观察时应关注它是否与逐类别结果一同给出。对读者而言,见到 macro-F1 时最值得追问的是:类别分布如何、各类别 F1 分别是多少,这两个信息比总分本身更能反映模型真实水平。

    Coverage

    10 on file