Chinese contentLong-Short Contrastive Pruning 让剪枝后的推理模型更省思考 token
剪枝和 CoT 压缩一起用会互相打架,这篇论文给 DeepSeek-R1-Distill-Qwen-7B 剪 20% 权重还能省 8–22% 思考 token,掉分不到 0.5,做模型部署的可以看看。
剪枝和 CoT 压缩一起用会互相打架,这篇论文给 DeepSeek-R1-Distill-Qwen-7B 剪 20% 权重还能省 8–22% 思考 token,掉分不到 0.5,做模型部署的可以看看。