9月3日
11:44
11:44官方账号arXiv cs.LG@Isaiah Andrews, Suproteem Sarkar
该研究评估了语言模型在概率预测方面的一致性。研究人员通过构建线性程序计算荷兰书利润,衡量模型预测的不一致性。研究发现语言模型预测存在显著不一致性,事件间逻辑关系越丰富,不一致性越高。无关上下文细节可使不一致性提高一个数量级。
推荐理由:荷兰书利润方法评估语言模型预测一致性,发现模型在概率预测上存在显著不一致,尤其在复杂逻辑关系下更明显。