精选理由
Hugging Face 把 68TB 数据克隆时间压缩到 2 分钟以内，做大规模数据处理的团队可以直接用上这些优化，省时又省成本。
Hugging Face 的 Julien Chaumond 在 X 上宣布，团队对数据基础设施业务持乐观态度。他演示了仅用 1 分 55 秒就克隆了 68TB 数据到 Hugging Face 训练存储桶，而本地磁盘只有 4TB。这得益于 Xet 去重技术和基础设施优化。用户可以在 Hugging Face 上托管数据处理管道，利用这些优化。该技术大幅提升了大规模数据处理的效率。
AI 翻译 · 中文
Hugging Face 的 Julien Chaumond 在 X 上宣布，团队对数据基础设施业务持乐观态度。他演示了仅用 1 分 55 秒就克隆了 68TB 数据到 Hugging Face 训练存储桶，而本地磁盘只有 4TB。这得益于 Xet 去重技术和基础设施优化。用户可以在 Hugging Face 上托管数据处理管道，利用这些优化。该技术大幅提升了大规模数据处理的效率。
We are starting to be quite bullish about getting in the data infrastructure business. I just cloned 68 TB (while I only have a 4TB local disk) to my @huggingface training bucket in 1 minute 55 seconds, thanks to Xet ded…