10:44arXiv cs.AI@Nick Bettencourt, Xiaowei Ding, Kay Giesecke斯坦福大学发布SEFD数据集,重建SEC文件为布局忠实的MultiMarkdown格式,用于金融语言模型预训练。SEFD-v1初始快照包含152B tokens,总归档估计550B tokens。该数据集与Common Crawl衍生语料重叠小于0.1%,具有极高的新颖性。同时推出两个基准EDGAR-Forecast(财务数值预测)和EDGAR-OCR(复杂表格转录),评估模型在金融领域的能力。论文SEFDEDGAR金融数据预训练数据财务基准推荐理由:斯坦福这个SEFD数据集太实用了,152B token的金融预训练数据,跟Common Crawl几乎不重复,还自带财务预测和表格识别基准,搞金融NLP的可以省好多事。原文