精选理由
Hugging Face 晒出 Xet 存储数据量，说明 AI 开发者对数据的需求爆炸式增长，同时深入解释了为什么互联网数据快不够用了。
Hugging Face 创始人 Clement Delangue 发布推文，展示 AI 开发者存储在 HF Xet 上的数据量，称已完全取代 Git 存储。该平台数据量正快速接近 EB 级。伴随推文的一篇长文指出，AI 训练已从计算受限进入数据受限阶段，互联网公共文本数据仅剩约 300 万亿 token 可用，高质量新数据增速无法匹配模型规模增长。文章认为需要像建设计算基础设施一样，启动“数据星门”计划以应对每年超 1000 亿美元的数据支出需求。
AI 翻译 · 中文
Hugging Face 创始人 Clement Delangue 发布推文，展示 AI 开发者存储在 HF Xet 上的数据量，称已完全取代 Git 存储。该平台数据量正快速接近 EB 级。伴随推文的一篇长文指出，AI 训练已从计算受限进入数据受限阶段，互联网公共文本数据仅剩约 300 万亿 token 可用，高质量新数据增速无法匹配模型规模增长。文章认为需要像建设计算基础设施一样，启动“数据星门”计划以应对每年超 1000 亿美元的数据支出需求。
This is how how much data AI builders are storing on HF Xet (replaced git storage fully in ~Nov 25). Feels like this is just the beginning and should get to exabytes soon! will depue @willdepue A Stargate for Data Labs a…