10:44arXiv cs.AI@Nick Bettencourt, Xiaowei Ding, Kay Giesecke斯坦福大学发布SEFD数据集,重建SEC文件为布局忠实的MultiMarkdown格式,用于金融语言模型预训练。SEFD-v1初始快照包含152B tokens,总归档估计550B tokens。该数据集与Common Crawl衍生语料重叠小于0.1%,具有极高的新颖性。同时推出两个基准EDGAR-Forecast(财务数值预测)和EDGAR-OCR(复杂表格转录),评估模型在金融领域的能力。论文SEFDEDGAR金融数据预训练数据财务基准推荐理由:斯坦福这个SEFD数据集太实用了,152B token的金融预训练数据,跟Common Crawl几乎不重复,还自带财务预测和表格识别基准,搞金融NLP的可以省好多事。原文
11:05arXiv cs.AI@Yaxin Luo, Jiacheng Cui, Xiaohan Zhao, Xinyi Shang, Jiacheng Liu, Xinyue Bi, Zhaoyi Li, Zhiqiang Shen精选大语言模型的预训练数据混合比例决定了其能力与缺陷,但这一信息极少公开。LLMSurgeon 提出“数据混合手术”框架,仅通过模型生成的文本就能逆向估计其预训练语料的领域分布。该方法利用校准后的软混淆矩阵解决领域混淆问题,在开源模型上验证了高精度。这为审计基础模型的数据构成提供了无需访问训练数据的实用后验方案。论文大语言模型数据审计预训练数据逆向工程LLMSurgeon推荐理由:想知道你用的模型到底吃了什么数据?LLMSurgeon 让数据审计变得可行,做模型安全、数据治理或开源复现的团队值得关注。原文