上下文压缩理论：LLM状态压缩与通信复杂度等价

一篇arXiv论文首次对LLM上下文压缩进行形式化分析。作者提出两个博弈框架：Context Selection Game和Context Generation Game，分别对应子集保留和摘要生成两种压缩策略。论文证明Context Generation Game与单向通信复杂度等价，压缩预算等于同一误差下的单向通信复杂度。还证明存在一组查询，生成式压缩比选择式压缩需要更少预算。案例研究评估了Anthropic上下文压缩端点在一组集合成员查询上的表现。