精选理由
做 LLM 部署优化的团队终于有了量化工具——这篇论文告诉你何时该用检索、何时该用记忆压缩，直接帮你省 token 成本，建议做推理优化的工程师点开看具体方法。
一篇新论文提出“效率前沿”框架，系统比较 LLM 在不同部署场景下的上下文策略。研究发现，在保持答案质量的前提下，选择合适的方法可将 token 消耗降低约 25%，在重复使用记忆的场景下甚至可节省超过 50%。该框架将答案质量与 token 成本联合优化，而非分开评估。实验基于 5000 个 HotpotQA 问题，结果表明：低复用场景轻量检索最优，高复用场景记忆压缩更佳，而全上下文提示仍是追求最高准确率的必要手段。
AI 翻译 · 中文
一篇新论文提出“效率前沿”框架，系统比较 LLM 在不同部署场景下的上下文策略。研究发现，在保持答案质量的前提下，选择合适的方法可将 token 消耗降低约 25%，在重复使用记忆的场景下甚至可节省超过 50%。该框架将答案质量与 token 成本联合优化，而非分开评估。实验基于 5000 个 HotpotQA 问题，结果表明：低复用场景轻量检索最优，高复用场景记忆压缩更佳，而全上下文提示仍是追求最高准确率的必要手段。
This paper shows how LLMs can use shorter context more cheaply without losing much answer quality. Shows choosing the right context method for the deployment setting can cut token use by about 25% at similar quality, and…