全部动态

AI 相关资讯全量信息流 · 5478 条
9月16日
一种改进的模型蒸馏方法,通过时间信用分配提升大语言模型性能

这篇论文提出了一种新的模型蒸馏方法γOPD,它通过引入折扣时间信用分配来平衡长时程监督和优化稳定性。实验表明,该方法在数学和代码推理任务上,比现有方法有更稳定的提升效果。

arXiv cs.LG@Shiqi Liu 等 12 人原文
9月15日

仅展示最近 2000 条内容,更早的内容请查阅 AI 日报存档