AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP

训练策略

共 2 条相关 AI 资讯
7月8日
18:19
18:19量子位@思邈
精选
智源研究院提出悟界·Orca方法,改变大模型训练顺序,先让模型学习世界动态变化规律。该方法旨在避免AI直接进入任务执行。相关论文入选Hugging Face论文月榜第一。
AI模型悟界·Orca智源研究院Hugging Face训练策略动态世界理解

推荐理由:智源搞了个新训练法Orca,不让AI一上来就干杂活,先学世界怎么变。论文上了Hugging Face月榜第一,值得看看他们的思路。
原文
6月3日
11:54
11:54向阳乔木@vista8
精选72°
斯坦福大学研究团队发现,当模型规模足够大时,使用未过滤的Common Crawl数据训练效果反而优于经过清洗的数据。在15M小模型上,过滤数据全面领先;但在330M和1B模型上,未过滤数据在充分训练后超越了所有过滤版本。这表明大模型有足够参数空间将噪声与有用信息分离,颠覆了数据清洗越干净越好的传统认知。
论文大模型数据清洗Common Crawl斯坦福训练策略

推荐理由:这项研究挑战了数据清洗的行业惯例,做大模型训练的团队值得关注——或许可以省下大量清洗成本,直接喂原始数据。
原文
精选全部日报登录