#在线蒸馏
共 3 条 · 7 天 0 条 · 30 天 1 条
信息流里打上「在线蒸馏」标签的资讯、产品与论文，按刊登时间排，新的在上。
9月11日
8月11日
TIDE：解决LLM在线蒸馏中师生不匹配问题
这篇论文讲了个反直觉的事：蒸馏时师生token一致反而可能有害。TIDE方法在数学推理上把准确率从6.9%拉到20.3%，还让回答短了3.6倍，值得做LLM后训练的人看看。
8月3日
论文09:28
Adaptive FastOPD：进度感知的滚动视野扩展实现高效在线蒸馏发了个叫Adaptive FastOPD的蒸馏加速方法，比OPD 15K快一半多，性能还更高。做训练加速的可以看看。