Pi 工程师分享了他们怎么做上下文压缩：让模型总结旧对话，再留最近几句，简单够用。长对话卡顿的可以参考。
Pi 团队发布新博客，介绍上下文压缩（compaction）的实现方式。工程师 vegardstikbakke 让 LLM 总结历史对话，仅保留 system prompt 和工具调用。压缩后的上下文还会保留最近几次对话，以维持连贯性。作者指出这种压缩是有损的，可能影响依赖历史细节的回复。Pi 希望通过该方法解决长对话带来的质量、性能和成本问题。
这篇 Pi 压缩的文章，太过于朴实无华，就真的只是写个 prompt 让 LLM 把上下文总结一下，然后保留前面的system prompt 和工具调用，在摘要后可能还会保留最近几次对话。 这种压缩...
这篇 Pi 压缩的文章，太过于朴实无华，就真的只是写个 prompt 让 LLM 把上下文总结一下，然后保留前面的system prompt 和工具调用，在摘要后可能还会保留最近几次对话。 这种压缩是有损的，不知道是不是有机制会去历史会话检索上下文？ 当然这确实是压缩上下文的最简单有效方案。 Pi @pidotdev LLMs have a limited context window. When conversations grow too long this affects output quality, performance and cost. New blog post from Earendil engineer @vegardstikbakke on how compaction addresses this and how we’ve implemented it in Pi. Read the full post below Your browser does not support the video tag. 🔗 View on Twitter 🔗 View Quoted Tweet 💬 10 🔄 1 ❤️ 10 👀 4264 📊 10 ⚡