11:37
官方账号arXiv cs.AI@Yubo Jiang, Fengying Xie, Zhiguo Jiang, Haopeng Zhang
推荐理由：想提升数学推理模型？SKALD 把技能蒸馏进权重，比 GRPO 最高涨 12 分，还不用改推理时的输入。
SKALD
共 1 条相关 AI 资讯
8月11日
11:37
SKALD 是一种基于策略的自蒸馏框架，使用 Qwen3-Base 模型的两种上下文视图：仅问题的学生和基于抽象技能卡的教师。该方法通过退火指数倾斜目标稳定分布失配，并在验证奖励为正时激活蒸馏。在五个数学基准上，SKALD 在 0.6B、1.7B 和 4B 规模下分别比 GRPO 提升 +2.46、+4.85 和 +12.01 的 avg@8。在 1.7B 规模下，零方差蒸馏恢复 84.7% 的完整增益，且比 FLOP 匹配的 GRPO 高 +4.06。