10:20
官方账号Clement Delangue@ClementDelangue
官方账号Clement Delangue@ClementDelangue精选
推荐理由：做大规模 AI 训练的团队终于可以告别下载整个数据集的痛苦——68TB 数据集 1 分钟克隆到私有存储，建议所有需要管理海量数据的开发者点开看看。
克隆
共 1 条相关 AI 资讯
6月2日
10:20
Hugging Face 联合创始人 Clement Delangue 在 X 上分享，他仅用不到 1 分钟就将一个 68TB 的数据集克隆到自己的私有训练存储桶中，而本地磁盘只有 4TB。这得益于 Hugging Face 的基础设施优化和 xet 去重技术。该功能让用户无需下载完整数据集即可直接使用，大幅节省时间和存储空间。对于需要大规模数据集的 AI 训练团队来说，这是一个效率提升的利器。