Primary sourceAIGCLINK
View sourceEvent ·Multi-source
tufazip 用 Transformer 实现 AI 无损压缩:1GB 维基百科文本压到约 105MB
开源项目 tufazip 将 Transformer 用于无损压缩,在 enwik9 基准上把 1GB 维基百科原始文本压缩到 100.96 MB,加上 4.43 MB 的解压程序后总大小为 105.39 MB,体积减少约 89.46%。无损指解压后逐字节恢复原文,并非让 AI 重新生成相似文章。 其原理是:语言模型预测下一个字符越准确,文本的压缩空间就越大。tufazip 利用 Transformer 输出后续数据的概率分布,再通过算术编码把这些预测转化为更紧凑的编码表示。 代价是计算开销极大:压缩需要两张 NVIDIA B200 GPU 运行约 7.3 天,解压约需 7.5 天,还不含离线训练时间。因此目前只是压缩率上的研究成果,还称不上实用工具,但这一结果与 Hutter Prize 所代表的"用预测能力换压缩率"路线一脉相承。
Current read
有开发者把 Transformer 的字符预测能力接到算术编码上做了 tufazip,enwik9 上压掉近 90% 体积,是真无损。不过要两张 B200 跑七天多才能压完,实用还早。适合关心压缩算法和模型预测关系的人看。
11 sources62° AI heatLast updated 2026/11/20 02:06:38
Evidence
11 sourcesRelated source 1shao__meng
View sourceRelated source 2vLLM
View sourceRelated source 3Nathan Lambert
View sourceRelated source 4NVIDIA
View sourceRelated source 5The Straits Times: Business
View sourceRelated source 6arXiv cs.LG
View sourceRelated source 7AWS Machine Learning Blog
View sourceRelated source 8Jim Fan
View sourceRelated source 9elvis
View sourceRelated source 10Naval
View sourceConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.