04:08
宝玉@dotey
宝玉@dotey精选
推荐理由：Pi 工程师分享了他们怎么做上下文压缩：让模型总结旧对话，再留最近几句，简单够用。长对话卡顿的可以参考。
Earendil
共 1 条相关 AI 资讯
8月15日
04:08
Pi 团队发布新博客，介绍上下文压缩（compaction）的实现方式。工程师 vegardstikbakke 让 LLM 总结历史对话，仅保留 system prompt 和工具调用。压缩后的上下文还会保留最近几次对话，以维持连贯性。作者指出这种压缩是有损的，可能影响依赖历史细节的回复。Pi 希望通过该方法解决长对话带来的质量、性能和成本问题。