精选理由
LLM 开发者常被冗长上下文和重复输出浪费大量令牌预算——Entropy Gate 用热力学思路解决了这个痛点,做长上下文推理或代理应用的团队可以直接集成,省令牌就是省成本。
Entropy Gate 提出了一种基于熵淬火(entropy quenching)的令牌压缩框架,通过为每个令牌计算多因素信息能量,并模拟热力学过程逐步“冻结”低能量令牌,实现近无损压缩。该框架在五种提示类别上达到40-60%的压缩率,同时保持语义保真度(S_E > 0.80)。上下文去重可额外节省50-70%的重复块开销,输出端压缩进一步减少响应冗余。结合外部存储时,代理工作负载的压缩率可达88-96%。该方案无状态、模型无关,可作为兼容OpenAI的HTTP代理部署。
AI 翻译 · 中文
Entropy Gate 提出了一种基于熵淬火(entropy quenching)的令牌压缩框架,通过为每个令牌计算多因素信息能量,并模拟热力学过程逐步“冻结”低能量令牌,实现近无损压缩。该框架在五种提示类别上达到40-60%的压缩率,同时保持语义保真度(S_E > 0.80)。上下文去重可额外节省50-70%的重复块开销,输出端压缩进一步减少响应冗余。结合外部存储时,代理工作负载的压缩率可达88-96%。该方案无状态、模型无关,可作为兼容OpenAI的HTTP代理部署。
LLM pipelines waste substantial token budgets on low-information content: repeated context, verbose responses, and redundant boilerplate. We introduce Entropy Gate, a token compression framework applying entropy quenchin…