tufazip 用 Transformer 实现 AI 无损压缩:1GB 维基百科文本压到约 105MB
有开发者把 Transformer 的字符预测能力接到算术编码上做了 tufazip,enwik9 上压掉近 90% 体积,是真无损。不过要两张 B200 跑七天多才能压完,实用还早。适合关心压缩算法和模型预测关系的人看。
开源项目 tufazip 将 Transformer 用于无损压缩,在 enwik9 基准上把 1GB 维基百科原始文本压缩到 100.96 MB,加上 4.43 MB 的解压程序后总大小为 105.39 MB,体积减少约 89.46%。无损指解压后逐字节恢复原文,并非让 AI 重新生成相似文章。
其原理是:语言模型预测下一个字符越准确,文本的压缩空间就越大。tufazip 利用 Transformer 输出后续数据的概率分布,再通过算术编码把这些预测转化为更紧凑的编码表示。
代价是计算开销极大:压缩需要两张 NVIDIA B200 GPU 运行约 7.3 天,解压约需 7.5 天,还不含离线训练时间。因此目前只是压缩率上的研究成果,还称不上实用工具,但这一结果与 Hutter Prize 所代表的"用预测能力换压缩率"路线一脉相承。
有人用Transformer搞出了一个AI无损压缩器:tufazip,把1GB维基百科文本压缩到约105MB,体积减少近90%
无损是真的无损压缩,解压后必须逐字节恢复原文,不是说让AI 重新生成一篇差不多的文章
原理是,语言模型越能预测下一个字符,理论上就越能把文本压缩得更小,tufazip把Transformer的预测能力用到了无损压缩上
它利用Transformer预测后续数据的概率分布,再通过算术编码,把预测能力转化成更紧凑的无损数据表示
项目给出的enwik9测试结果 原始文本:1 GB 压缩数据:100.96 MB 解压程序及相关文件:4.43 MB 计入解压器后的总大小:105.39 MB 总体体积减少约 89.46%
当然代价也相当夸张,两张NVIDIA B200 GPU,压缩耗时约7.3天,解压耗时约7.5天,还不包括离线模型训练时间
只能说目前还不算是一个实用压缩工具
#Transformer #AI无损压缩 #神经网络压缩
This report is categorized under AITOP's "Papers" desk, focusing on China's AI industry and domestic foundation model ecosystem. Within our cross-regional analytical framework, it directly maps to AI developer toolchains, coding agents, and engineering workflows. Key entities and technical topics under continuous tracking include tufazip, Transformer, enwik9.
Source attribution: curated from AIGCLINK (@aigclink).