用 Streaming、Pandas 和 tiktoken 构建 NVIDIA Nemotron 代码数据集管道

本文教程展示了如何从 NVIDIA 的 Nemotron-Pretraining-Code-v3 数据集中构建代码数据集管道。通过流式处理而非下载整个数据集，检查其模式并构建可管理的样本。分析了语言、文件扩展名、仓库频率和目录深度等元数据索引结构。然后重构原始 GitHub URL，获取真实源文件，并使用 tiktoken 估算获取代码的 token 规模。该方法适用于大规模代码预训练研究的数据处理。