Chinese contentC$^2$-Routing:裁剪与压缩互补,让 VLM 视觉推理 FLOPs 降 36.53%
做 VLM 推理优化的开发者可以看看这篇。它不训模型,靠按问题选裁剪还是压缩来省算力,FLOPs 省三成多、精度只掉不到 1%,RTX 3090 就能复现,比单纯砍视觉 token 上限更细。
做 VLM 推理优化的开发者可以看看这篇。它不训模型,靠按问题选裁剪还是压缩来省算力,FLOPs 省三成多、精度只掉不到 1%,RTX 3090 就能复现,比单纯砍视觉 token 上限更细。