#代码语料库

做代码模型预训练的同学都懂，想从几 TB 语料里挑干净子集有多痛苦。SWHForest 只存 AST 结构摘要不存源码，先用 SQL 筛再下载，实测砍掉 46-72% 下载量，把小时级检索压到秒级。训练数据团队和语料库维护方都该看看。