Papers

tufazip 用 Transformer 实现 AI 无损压缩:1GB 维基百科文本压到约 105MB

Why we picked it

有开发者把 Transformer 的字符预测能力接到算术编码上做了 tufazip,enwik9 上压掉近 90% 体积,是真无损。不过要两张 B200 跑七天多才能压完,实用还早。适合关心压缩算法和模型预测关系的人看。

开源项目 tufazip 将 Transformer 用于无损压缩,在 enwik9 基准上把 1GB 维基百科原始文本压缩到 100.96 MB,加上 4.43 MB 的解压程序后总大小为 105.39 MB,体积减少约 89.46%。无损指解压后逐字节恢复原文,并非让 AI 重新生成相似文章。

Body

其原理是:语言模型预测下一个字符越准确,文本的压缩空间就越大。tufazip 利用 Transformer 输出后续数据的概率分布,再通过算术编码把这些预测转化为更紧凑的编码表示。

代价是计算开销极大:压缩需要两张 NVIDIA B200 GPU 运行约 7.3 天,解压约需 7.5 天,还不含离线训练时间。因此目前只是压缩率上的研究成果,还称不上实用工具,但这一结果与 Hutter Prize 所代表的"用预测能力换压缩率"路线一脉相承。

Original · AIGCLINK

有人用Transformer搞出了一个AI无损压缩器:tufazip,把1GB维基百科文本压缩到约105MB,体积减少近90%

无损是真的无损压缩,解压后必须逐字节恢复原文,不是说让AI 重新生成一篇差不多的文章

原理是,语言模型越能预测下一个字符,理论上就越能把文本压缩得更小,tufazip把Transformer的预测能力用到了无损压缩上

它利用Transformer预测后续数据的概率分布,再通过算术编码,把预测能力转化成更紧凑的无损数据表示

项目给出的enwik9测试结果 原始文本:1 GB 压缩数据:100.96 MB 解压程序及相关文件:4.43 MB 计入解压器后的总大小:105.39 MB 总体体积减少约 89.46%

当然代价也相当夸张,两张NVIDIA B200 GPU,压缩耗时约7.3天,解压耗时约7.5天,还不包括离线模型训练时间

只能说目前还不算是一个实用压缩工具

#Transformer #AI无损压缩 #神经网络压缩

Industry Coordinates & Source Verification

This report is categorized under AITOP's "Papers" desk, focusing on China's AI industry and domestic foundation model ecosystem. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include tufazip, Transformer, enwik9.

Source attribution: curated from AIGCLINK (@aigclink).