Rubricon：自动生成与精炼评分标准，用于 LLM 评估与训练

arXiv 论文 Rubricon 提出一条无需人工偏好标签或评分标准标注的流水线，用任意 LLM 采样多个评分标准，选出区分度最高的候选，再补充遗漏要求并删掉对齐差的条目。在五个专业、消费、临床和通用 LLM 基准上，Rubricon 生成的评分标准与专家人工标准的对齐度比 RRD、QSRG、OpenRubrics 等最优合成方法高 9%。在 HealthBench 上，用 Rubricon 评分标准后训练 Qwen3.5-9B，成绩比用 RRD 标准训练高出 4.5%。该方法依靠标准通过率和 LLM 自我批评来引导精炼。