AI产品精选

Hugging Face 存储桶:机器人数据集激增至6万,GPU流式传输达1326 MB/s

HF is quietly becoming the best place to store data, public AND private, especially for brutal domai...

精选理由

Hugging Face 悄悄把存储和流式传输做到极致,机器人数据从1千到6万,GPU跑满1326 MB/s,不闲置了。

AI 摘要

Hugging Face 的数据存储能力正在快速扩张,公共机器人数据集从 2025 年初的 1,000 个增长到了 60,000 个,私有数据集数量是公共的两倍。单个机器人以 140 MB/s 持续记录数据,全天不休。通过从 Hub 直接流式传输并使用预缓存,GPU 吞吐量可从闲置时的 0 MB/s 跃升至约 1,326 MB/s。LeRobot 配合 Hugging Face Storage Buckets 实现了这一优化方案。

AI 翻译 · 中文

Hugging Face 的数据存储能力正在快速扩张,公共机器人数据集从 2025 年初的 1,000 个增长到了 60,000 个,私有数据集数量是公共的两倍。单个机器人以 140 MB/s 持续记录数据,全天不休。通过从 Hub 直接流式传输并使用预缓存,GPU 吞吐量可从闲置时的 0 MB/s 跃升至约 1,326 MB/s。LeRobot 配合 Hugging Face Storage Buckets 实现了这一优化方案。

Clement DelangueHF is quietly becoming the best place to store data, public AND private, especially for brutal domains like robotics and video AI where the files are massive, append-only, and never stop growing. Example? Public robotics