PapersBuilders13:10Chinese contentCPU-ARC:将 LLM 推理轨迹编译为可复用缓存,调用成本降至 1/16-1/291一篇挺有意思的论文:让 LLM 只推理一次,之后把解题过程存成 CPU 能直接跑的缓存,便宜 16 到 291 倍还不用 GPU。做推理成本优化的可以看看。#CPU-ARC#推理缓存#LLM推理成本#开源模型aarXiv cs.AI@Peter Belcak et al. (5)SourceRead laterReadWorth followingUsefulFollow CPU-ARC