精选理由
做推理模型微调或部署的团队,STOP 解决了低数据场景下长链推理成本高的问题,直接减少 token 消耗,建议试试这个轻量剪枝方案。
长链推理(Long CoT)虽能提升多步推理性能,但常导致模型过度思考,产生低效推理,增加推理成本。STOP 提出一种结构化在线策略剪枝算法,通过自蒸馏、节点分割和推理树构建,识别并保留最早的正确推理节点(ECN),去除冗余推理。在 DeepSeek-R1-Distill-Qwen-7B 等模型上,STOP 在低数据微调场景下减少 19.4%-42.4% 的生成 token,同时基本保持准确率。该方法比教师引导剪枝带来更小的分布偏移,并将推理努力从冗余验证转向更高效的探索。
AI 翻译 · 中文
长链推理(Long CoT)虽能提升多步推理性能,但常导致模型过度思考,产生低效推理,增加推理成本。STOP 提出一种结构化在线策略剪枝算法,通过自蒸馏、节点分割和推理树构建,识别并保留最早的正确推理节点(ECN),去除冗余推理。在 DeepSeek-R1-Distill-Qwen-7B 等模型上,STOP 在低数据微调场景下减少 19.4%-42.4% 的生成 token,同时基本保持准确率。该方法比教师引导剪枝带来更小的分布偏移,并将推理努力从冗余验证转向更高效的探索。
Long chain-of-thought (Long CoT) reasoning improves performance on multi-step problems, but it also induces overthinking: models often generate low-yield reasoning that increases inference cost and latency. This ineffici…