精选理由
做大规模 AI 训练的团队终于可以告别下载整个数据集的痛苦——68TB 数据集 1 分钟克隆到私有存储，建议所有需要管理海量数据的开发者点开看看。
Hugging Face 联合创始人 Clement Delangue 在 X 上分享，他仅用不到 1 分钟就将一个 68TB 的数据集克隆到自己的私有训练存储桶中，而本地磁盘只有 4TB。这得益于 Hugging Face 的基础设施优化和 xet 去重技术。该功能让用户无需下载完整数据集即可直接使用，大幅节省时间和存储空间。对于需要大规模数据集的 AI 训练团队来说，这是一个效率提升的利器。
AI 翻译 · 中文
Hugging Face 联合创始人 Clement Delangue 在 X 上分享，他仅用不到 1 分钟就将一个 68TB 的数据集克隆到自己的私有训练存储桶中，而本地磁盘只有 4TB。这得益于 Hugging Face 的基础设施优化和 xet 去重技术。该功能让用户无需下载完整数据集即可直接使用，大幅节省时间和存储空间。对于需要大规模数据集的 AI 训练团队来说，这是一个效率提升的利器。
Feels quite magical to be able to clone a 68 TB dataset to my private HF training bucket while I only have a 4TB local disk, all of that in less than a minute thanks to HF infra optimizations & xet dedup! 💬 10 🔄 3 …