AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签:预训练数据×
6月17日
10:44
10:44arXiv cs.AI@Nick Bettencourt, Xiaowei Ding, Kay Giesecke
斯坦福大学发布SEFD数据集,重建SEC文件为布局忠实的MultiMarkdown格式,用于金融语言模型预训练。SEFD-v1初始快照包含152B tokens,总归档估计550B tokens。该数据集与Common Crawl衍生语料重叠小于0.1%,具有极高的新颖性。同时推出两个基准EDGAR-Forecast(财务数值预测)和EDGAR-OCR(复杂表格转录),评估模型在金融领域的能力。
论文SEFDEDGAR金融数据预训练数据财务基准

推荐理由:斯坦福这个SEFD数据集太实用了,152B token的金融预训练数据,跟Common Crawl几乎不重复,还自带财务预测和表格识别基准,搞金融NLP的可以省好多事。
原文
6月16日
20:46
AITOP6月16日 20:46
600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI
6月12日
12:57
AITOP6月12日 12:57
Claude代码里藏了个20260612,18个月后的AI记忆革命已经开始倒计时
6月11日
15:28
AITOP6月11日 15:28
1107 vs 303:谷歌悄悄开源了一个“拆打字机”的模型,把大模型速度翻了4倍
15:23
AITOP6月11日 15:23
DiffusionGemma颠覆文本生成?自回归模型的“统治”要结束了
15:07
AITOP6月11日 15:07
每秒1107个token,Google开源的扩散模型为什么能改变本地推理格局?
5月29日
11:05
11:05arXiv cs.AI@Yaxin Luo, Jiacheng Cui, Xiaohan Zhao, Xinyi Shang, Jiacheng Liu, Xinyue Bi, Zhaoyi Li, Zhiqiang Shen
精选
大语言模型的预训练数据混合比例决定了其能力与缺陷,但这一信息极少公开。LLMSurgeon 提出“数据混合手术”框架,仅通过模型生成的文本就能逆向估计其预训练语料的领域分布。该方法利用校准后的软混淆矩阵解决领域混淆问题,在开源模型上验证了高精度。这为审计基础模型的数据构成提供了无需访问训练数据的实用后验方案。
论文大语言模型数据审计预训练数据逆向工程LLMSurgeon

推荐理由:想知道你用的模型到底吃了什么数据?LLMSurgeon 让数据审计变得可行,做模型安全、数据治理或开源复现的团队值得关注。
原文
精选全部日报登录