#SWHForest

1 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "SWHForest", newest first.
Nov 10
Chinese contentSWHForest:为大规模代码语料库提供结构化筛选与检索层

做代码模型预训练的同学都懂,想从几 TB 语料里挑干净子集有多痛苦。SWHForest 只存 AST 结构摘要不存源码,先用 SQL 筛再下载,实测砍掉 46-72% 下载量,把小时级检索压到秒级。训练数据团队和语料库维护方都该看看。

arXiv cs.LG@Federico Pennino et al. (4)Source
SWHForest · AI news | AITOP