12:26
官方账号arXiv cs.AI@Zhen Huang, Yikun Wang, Shijie Xia, Pengfei Liu
推荐理由：这篇论文提出了DataOrchestra，能针对每个数据样本定制清洗流程，在多个模型和基准上都有提升，还节省算力。
DataOrchestra
共 1 条相关 AI 资讯
7月28日
12:26
DataOrchestra提出针对每个数据样本定制处理流程，统一丢弃、保留或清洗操作。清洗时选择程序化编辑或LLM重写，并生成具体指令。在0.5B至7B模型上从零预训练，11个基准平均提升优于单个处理方法。数学持续预训练中超过更强基线，且跳过不必要操作减少计算量。