压缩相关 AI 资讯 · AI 热点

8月10日

07:17

07:17官方账号Simon Willison’s Weblog（博客/媒体）

精选

Simon Willison 提出将文档所有历史版本打包为 JSON 数组，用 zlib 或 zstd 压缩后存进 SQLite 的 BLOB 列。他用 GPT-5.6 Sol Pro 构建原型，模拟 1,000 次修订生成 20.4MB 原始文本，经 Zstandard 压缩后仅 80.3KB。为避免每次编辑都解压重压整个数组，原型将历史拆成多行，每行最多 128 个修订或 3MB 未压缩 JSON。

技巧 SQLite 压缩 zstd

推荐理由：Simon 晒了个 SQLite 存历史版本的压缩方案，用 zstd 把 1000 次修订从 20MB 压到 80KB，思路挺巧。

7月30日

08:33

08:33

orange.ai@oran_ge

OpenAI提出一种方法，让模型在推理时记录中间思考步骤（推理过程），并通过压缩算法存储这些信息。在后续推理中重复利用已保存的推理链，而不需要重新计算，从而大幅提升效率。实验显示，在多个基准测试上，该技术使模型性能提升3倍。

技巧 OpenAI 推理链压缩

推荐理由：OpenAI发现让模型记住推理链再压缩，性能直接翻3倍，简单实用，推荐试试。

7月21日

09:53

09:53

官方账号arXiv cs.LG@Photios A. Stavrou, Giuseppe Serra, Marios Kountouris

传统率失真理论使用均方误差等失真度量，但难以捕捉感知质量。率失真感知理论引入感知作为第三轴，通过源信号与重构信号之间的分布相似性量化。本教程综述了感知感知压缩的编码原则，以及不同随机性假设下的可达性结果。它提供了计算Blau和Michaeli定义的率失真感知函数的统一优化视角，涵盖离散和连续源下的f-散度、α-散度和Wasserstein度量。还介绍了交替最小化、牛顿法和凸优化等计算工具，以及高斯源和完美现实主义等可解析情形。

论文率失真感知理论压缩信息论

推荐理由：想搞懂压缩里的感知极限吗？这篇教程把率失真感知理论的计算方法和多种散度度量讲透了，比泛泛的综述实在得多。

6月17日

09:40

09:40

官方账号arXiv cs.AI@Liangkai Hang, Junjie Yao, Zhiyu Li, Feiyu Xiong, Hongkang Yang, Zhi-Qin John Xu

73°

论文发现缩小参数初始化尺度能持续改善大语言模型的预训练效果，在推理密集型任务上提升最为显著，同时识别出两种常见训练设置会抑制该优势。研究揭示了初始化尺度的关键平衡点，并发现小初始化驱动参数先凝聚为低复杂度结构再扩展为丰富表示。基于此提出γ初始化规则——将初始化范围作为可调旋钮，默认使用小初始化几乎不增加成本即可改善训练和推理。

论文初始化大语言模型推理

推荐理由：发现一个几乎零成本的训练技巧：缩小初始化尺度能大幅提升大模型推理能力。

6月16日

03:15

03:15

官方账号AlphaSignal@AlphaSignalAI

精选

传统Agent系统依赖检索获取信息，但LCLMs（Latent Compression Language Models）提出先压缩所有信息。该方法将数据全局压缩一次，再基于压缩进行全局推理，仅当需要时才局部扩展。这与检索式记忆的本质区别在于：压缩使模型能理解整体结构而非片段匹配。LCLMs在多个知识密集型任务中展现出更高效的记忆利用。

论文 LCLMs 智能体 Agent记忆

推荐理由：做Agent系统的话可以看看这个思路：不先检索，而是先全局压缩再按需展开，和传统做法完全不一样。