预训练数据相关 AI 资讯

7月10日

09:36

官方账号arXiv cs.AI@Xinlong Zhao, Dongsheng Liu, Hengyu Zhao, Zixuan Fu, Zheng Wang, Jie Cai, Jie Zhou, Qiang Ma, Xuanhe Zhou, Xu Han, Yudong Wang, Zhiyuan Liu

UltraX 提出一种函数调用精炼框架，通过引入插入操作完成编辑函数空间，实现细粒度实例级编辑。该框架通过数据集自适应提示优化指导专家LLM生成高质量精炼文本，再通过行对齐映射和动态上下文替换转换为结构化程序监督。实验表明 UltraX 在所有语料库上取得最高平均性能，并使用更少训练 token 匹配或超越基线，展现更强数据效率和精炼可靠性。

论文 UltraX 预训练数据数据精炼论文数据质量

推荐理由：UltraX 搞了个新框架，用程序化编辑替代传统规则和LLM方式，既能细粒度编辑又保证效率，精炼预训练数据效果不错。

原文

6月17日

10:44

官方账号arXiv cs.AI@Nick Bettencourt, Xiaowei Ding, Kay Giesecke

斯坦福大学发布SEFD数据集，重建SEC文件为布局忠实的MultiMarkdown格式，用于金融语言模型预训练。SEFD-v1初始快照包含152B tokens，总归档估计550B tokens。该数据集与Common Crawl衍生语料重叠小于0.1%，具有极高的新颖性。同时推出两个基准EDGAR-Forecast（财务数值预测）和EDGAR-OCR（复杂表格转录），评估模型在金融领域的能力。

论文 SEFD EDGAR 金融数据预训练数据财务基准

推荐理由：斯坦福这个SEFD数据集太实用了，152B token的金融预训练数据，跟Common Crawl几乎不重复，还自带财务预测和表格识别基准，搞金融NLP的可以省好多事。

原文

5月29日

11:05

官方账号arXiv cs.AI@Yaxin Luo, Jiacheng Cui, Xiaohan Zhao, Xinyi Shang, Jiacheng Liu, Xinyue Bi, Zhaoyi Li, Zhiqiang Shen

精选

大语言模型的预训练数据混合比例决定了其能力与缺陷，但这一信息极少公开。LLMSurgeon 提出“数据混合手术”框架，仅通过模型生成的文本就能逆向估计其预训练语料的领域分布。该方法利用校准后的软混淆矩阵解决领域混淆问题，在开源模型上验证了高精度。这为审计基础模型的数据构成提供了无需访问训练数据的实用后验方案。

论文大语言模型数据审计预训练数据逆向工程 LLMSurgeon

推荐理由：想知道你用的模型到底吃了什么数据？LLMSurgeon 让数据审计变得可行，做模型安全、数据治理或开源复现的团队值得关注。

原文