Papers12:01
Chinese contentReDiST 提出按学生条件构建推理轨迹的蒸馏方法蒸馏推理模型时,与其给标准答案的思路,不如从学生自己的错误草稿修出一条它能学会的路径,这篇论文就是这么做的。
蒸馏推理模型时,与其给标准答案的思路,不如从学生自己的错误草稿修出一条它能学会的路径,这篇论文就是这么做的。
The framework enables scalable product recommendations at minimal cost, making it practical for e-commerce platforms with millions of product pairs.
论文搞了个新基准CoDyControlBench,测了6款模型,GPT成功率最高94.8%,还蒸馏出1.5B小模型能上机械臂干活。
想提升音频模型的逻辑推理?这个框架用文本教师蒸馏,在MMSU等基准上效果拔群,比纯音频训练强很多。
做推理蒸馏或知识迁移的团队,IGA解决了小模型在分布外数据上泛化差的痛点,逻辑一致性提升四倍,值得在数学、医学等跨领域任务上试试。