Event ·Multi-source

tufazip 用 Transformer 实现 AI 无损压缩:1GB 维基百科文本压到约 105MB

开源项目 tufazip 将 Transformer 用于无损压缩,在 enwik9 基准上把 1GB 维基百科原始文本压缩到 100.96 MB,加上 4.43 MB 的解压程序后总大小为 105.39 MB,体积减少约 89.46%。无损指解压后逐字节恢复原文,并非让 AI 重新生成相似文章。 其原理是:语言模型预测下一个字符越准确,文本的压缩空间就越大。tufazip 利用 Transformer 输出后续数据的概率分布,再通过算术编码把这些预测转化为更紧凑的编码表示。 代价是计算开销极大:压缩需要两张 NVIDIA B200 GPU 运行约 7.3 天,解压约需 7.5 天,还不含离线训练时间。因此目前只是压缩率上的研究成果,还称不上实用工具,但这一结果与 Hutter Prize 所代表的"用预测能力换压缩率"路线一脉相承。

Current read

有开发者把 Transformer 的字符预测能力接到算术编码上做了 tufazip,enwik9 上压掉近 90% 体积,是真无损。不过要两张 B200 跑七天多才能压完,实用还早。适合关心压缩算法和模型预测关系的人看。

11 sources62° AI heatLast updated 2026/11/20 02:06:38

Evidence

11 sources
Related source 1shao__meng
View source
Related source 3Nathan Lambert
View source
Related source 5The Straits Times: Business
View source
Related source 6arXiv cs.LG
View source
Related source 7AWS Machine Learning Blog
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.