00:51
Julien Chaumond@julien_c
Julien Chaumond@julien_c推荐理由：Hugging Face 把 68TB 数据克隆时间压缩到 2 分钟以内，做大规模数据处理的团队可以直接用上这些优化，省时又省成本。
Xet去重
共 1 条相关 AI 资讯
5月29日
00:51
Hugging Face 的 Julien Chaumond 在 X 上宣布，团队对数据基础设施业务持乐观态度。他演示了仅用 1 分 55 秒就克隆了 68TB 数据到 Hugging Face 训练存储桶，而本地磁盘只有 4TB。这得益于 Xet 去重技术和基础设施优化。用户可以在 Hugging Face 上托管数据处理管道，利用这些优化。该技术大幅提升了大规模数据处理的效率。