全部 AI 动态 · AI 热点

arXiv cs.AI@Zhixuan Liang, Yuxiao Chen, Yurong You, Peter Karkus, Wenhao Ding, Boyi Li, Alexander Popov, Yan Wang, Maximilian Igl, Yiming Li, Danfei Xu, Nikolai Smolyanskiy, Boris Ivanovic, Ping Luo, Marco Pavone

针对自动驾驶中视觉-动作模型处理长时序上下文时计算开销过大的问题，本文提出 COMPACT-VA 框架。它基于条件 VQ-VAE 实现规划对齐的令牌压缩，将扩展上下文压缩为有限表示，同时保留决策关键信息。该方法在训练时利用未来轨迹蒸馏规划意图，推理时从压缩观测中预测意图，并与压缩记忆拼接后输入策略网络进行端到端优化。在动态场景下，COMPACT-VA 在相同令牌预算下成功率提升超 6%，并实现 3.3 倍加速和 2.7 倍内存缩减。

论文自动驾驶令牌压缩 VQ-VAE 长上下文规划对齐

推荐理由：自动驾驶长上下文处理的计算瓶颈终于有了架构兼容的解决方案——COMPACT-VA 无需修改骨干网络即可压缩令牌，做端到端自动驾驶的团队值得关注其 3.3 倍加速效果。

原文

6月3日

11:12

arXiv: OpenAI@Justice Owusu Agyemang, Jerry John Kponyo, Kwame Opuni-Boachie Obour Agyekum, Francisca Adoma Acheampong, Kwame Agyeman-Prempeh Agyekum, James Dzisi Gadze

精选

Entropy Gate 提出了一种基于熵淬火（entropy quenching）的令牌压缩框架，通过为每个令牌计算多因素信息能量，并模拟热力学过程逐步“冻结”低能量令牌，实现近无损压缩。该框架在五种提示类别上达到40-60%的压缩率，同时保持语义保真度（S_E > 0.80）。上下文去重可额外节省50-70%的重复块开销，输出端压缩进一步减少响应冗余。结合外部存储时，代理工作负载的压缩率可达88-96%。该方案无状态、模型无关，可作为兼容OpenAI的HTTP代理部署。

论文令牌压缩熵淬火语义保真度 LLM管道开源/仓库

推荐理由：LLM 开发者常被冗长上下文和重复输出浪费大量令牌预算——Entropy Gate 用热力学思路解决了这个痛点，做长上下文推理或代理应用的团队可以直接集成，省令牌就是省成本。

原文