8月31日
11:39
11:39官方账号arXiv cs.LG@Benjamin Turtel, Paul Wilczewski, Kris Skotheim, Ville A. Satopää, Philip E. Tetlock
该研究比较了五种不同的评分规则作为二元预测训练目标。Brier训练的模型在Brier分数和AUC-ROC指标上表现最佳,而log训练的模型在log分数和校准误差上最优。不同评分规则下的模型在偏差、信息和噪声组合上存在差异,即使总体性能相近。
推荐理由:这篇论文分析了不同评分规则对LLM预测行为的影响,帮你理解如何选择合适的训练目标。