#KV-Rescue

KV缓存驱逐会掉精度，KV-Rescue用个小模型当辅助，能救回87%的损失，还省43%的生成量，跑长推理的可以看看。