arXiv cs.LG@Gordan Prastalo, Kevin Maik Jablonka
精选50
推荐理由：科学机器学习领域长期忽视预测一致性问题，这篇论文给出了可落地的解决方案。做化学/材料AI建模的团队，建议在基准测试中加上这个指标，否则参数侧和数据侧方法在关键差异上无法区分。
全部 AI 动态
AI 相关资讯全量信息流
5月14日
13:26
科学机器学习通常只报告预测性能，但忽略了不同训练数据下预测结果的一致性。在9个化学基准测试中，两个独立训练的分类器在总体准确率上差异仅1.3-4.2个百分点，但对8.0-21.8%的测试分子预测标签不同，这种差异被称为跨样本预测波动。标准参数侧方法（如深度集成、MC Dropout、随机权重平均）无法减少这一差距，而两种数据侧方法有效：K-自助法装袋可将波动降低40-54%且不损失准确率，以及作者提出的双自助法（twin-bootstrap），在相同计算量下进一步减少45%的波动。该研究建议在科学机器学习基准报告中增加跨样本预测波动指标。