AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：训练数据×
6月19日
16:30
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月7日
16:05
16:05Decoder@Jonathan Kemper
精选72°
一项新研究解释了为什么大型语言模型能掌握小型模型无法学会的罕见技能。研究发现，小型模型在处理罕见任务时，频繁出现的任务会不断覆盖它们已学到的知识。研究使用了从400万到40亿参数不等的模型，详细展示了这一机制，并提出了一个实用解决方案：与其扩大模型规模，不如增加目标任务在训练数据中的出现频率。这一发现为优化模型训练提供了新思路。
论文语言模型模型规模训练数据技能学习研究
推荐理由：这项研究为AI开发者揭示了模型规模与技能学习之间的关键机制，做模型训练或数据配比的团队可以直接参考其提出的数据频率优化方案，值得关注。
原文
6月6日
12:39
12:39IT之家（博客/媒体）
精选
科技媒体 The Decoder 报道，微软最新发布的 MAI 系列 AI 模型部分使用了 Common Crawl 等开放网络数据训练，与其此前宣称的“完全基于干净、商业授权数据”存在出入。微软技术论文显示，训练数据是“公开可得数据”与“授权人类生成数据”的混合，而非纯商业授权。微软称其爬虫遵守 robots.txt 协议，但媒体指出未屏蔽内容默认可抓取的逻辑存在争议。这一发现可能影响企业用户对微软 AI 模型数据合规性的信任。
行业微软MAI训练数据数据合规Common Crawl
推荐理由：微软 MAI 模型的数据来源争议直接关系到企业级 AI 部署的合规风险，做数据治理或采购 AI 服务的团队值得关注，建议点开了解具体细节。
原文