#推理缓存

一篇挺有意思的论文：让 LLM 只推理一次，之后把解题过程存成 CPU 能直接跑的缓存，便宜 16 到 291 倍还不用 GPU。做推理成本优化的可以看看。