12:26
官方账号arXiv cs.AI@Zhen Huang, Yikun Wang, Shijie Xia, Pengfei Liu
推荐理由：这篇论文提出了DataOrchestra，能针对每个数据样本定制清洗流程，在多个模型和基准上都有提升，还节省算力。
数据清洗
共 4 条相关 AI 资讯
7月28日
12:26
DataOrchestra提出针对每个数据样本定制处理流程，统一丢弃、保留或清洗操作。清洗时选择程序化编辑或LLM重写，并生成具体指令。在0.5B至7B模型上从零预训练，11个基准平均提升优于单个处理方法。数学持续预训练中超过更强基线，且跳过不必要操作减少计算量。
09:33
09:33
官方账号arXiv cs.LG@Ilia Barutkin, Maxim Fofanov, Sergey Belokonny, Vladislav Makeev, George Chernishev
推荐理由：这篇论文在开源数据剖析工具 Desbordante 里加了概率函数依赖发现，对比了传统近似依赖，做数据清洗的话可以看看具体差异。
7月13日
09:34
09:34
Yangyi@Yangyixxxx
Yangyi@Yangyixxxx推荐理由：一个开发者提议搞个AI自动扒代码和文档，专治企业数据清洗最脏最累的活。
6月3日
11:54
11:54
向阳乔木@vista8
向阳乔木@vista8精选72°
推荐理由：这项研究挑战了数据清洗的行业惯例，做大模型训练的团队值得关注——或许可以省下大量清洗成本，直接喂原始数据。