10:51
官方账号arXiv cs.LG@Ruochen Jin, Zhanliang Wang, Zongyu Dai, Jiancong Xiao, Bojian Hou
精选
推荐理由：这篇arxiv论文提出用双层优化做LLM校准，不靠事后温度缩放，在开放问答上分布外泛化更稳。
分布外泛化
共 2 条相关 AI 资讯
8月10日
10:51
论文提出用双层优化改进LLM校准，主目标最大化预测分布熵以抑制过度自信。该方法借鉴温度缩放，在低层用参数化损失训练模型，在高层选择损失超参数。为适配大模型规模，采用一阶近似避免二阶计算。在多项选择和开放生成式问答实验中，该方法在分布外泛化上表现尤其突出。
6月4日
10:27
10:27
官方账号arXiv cs.AI@Zehua Cheng, Wei Dai, Jiahao Sun
推荐理由：做推理蒸馏或知识迁移的团队，IGA解决了小模型在分布外数据上泛化差的痛点，逻辑一致性提升四倍，值得在数学、医学等跨领域任务上试试。