10:51
官方账号arXiv cs.LG@Ruochen Jin, Zhanliang Wang, Zongyu Dai, Jiancong Xiao, Bojian Hou
精选
推荐理由：这篇arxiv论文提出用双层优化做LLM校准，不靠事后温度缩放，在开放问答上分布外泛化更稳。
LLM校准
共 1 条相关 AI 资讯
8月10日
10:51
论文提出用双层优化改进LLM校准，主目标最大化预测分布熵以抑制过度自信。该方法借鉴温度缩放，在低层用参数化损失训练模型，在高层选择损失超参数。为适配大模型规模，采用一阶近似避免二阶计算。在多项选择和开放生成式问答实验中，该方法在分布外泛化上表现尤其突出。