AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签:预训练×
6月16日
20:46
AITOP6月16日 20:46
600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI
6月12日
12:57
AITOP6月12日 12:57
Claude代码里藏了个20260612,18个月后的AI记忆革命已经开始倒计时
6月11日
15:28
AITOP6月11日 15:28
1107 vs 303:谷歌悄悄开源了一个“拆打字机”的模型,把大模型速度翻了4倍
15:23
AITOP6月11日 15:23
DiffusionGemma颠覆文本生成?自回归模型的“统治”要结束了
15:07
AITOP6月11日 15:07
每秒1107个token,Google开源的扩散模型为什么能改变本地推理格局?
6月4日
20:32
20:32Hugging Face: Blog(博客/媒体)
精选
NVIDIA 提出了一种名为 Task-Seeded Synthetic Q&A Generation 的方法,用于为 Nemotron 模型预训练生成高质量的合成问答数据。该方法通过任务种子(task seeds)引导生成多样化的问答对,解决了传统数据生成中覆盖不足和多样性低的问题。实验表明,使用该方法生成的合成数据训练的模型在多个基准测试上表现优异,甚至优于使用真实数据训练的模型。这项技术有望降低对人工标注数据的依赖,加速大语言模型的开发。
论文NVIDIANemotron合成数据预训练问答生成

推荐理由:NVIDIA 用任务种子生成合成数据,解决了预训练数据稀缺和多样性不足的问题,做 NLP 和模型训练的团队可以关注,能显著降低数据标注成本。
原文
5月20日
09:36
09:36SuperTechFans(博客/媒体)
88°
Andrej Karpathy 宣布加入 Anthropic 预训练团队,计划将 AutoResearch 理念扩展为递归训练项目,以提升 Claude 核心能力。社区对此褒贬不一,有人认为这是自动化研究的好方向,也有人质疑其创新性。Karpathy 表示仍会继续从事教育事业。此举可能加速 Anthropic 在预训练技术上的突破。
AI模型AnthropicKarpathy预训练递归训练Claude

推荐理由:Karpathy 的加入可能改变 Claude 的预训练范式,关注大模型训练的开发者值得了解递归训练的具体思路。
原文
07:22
07:22IT之家(博客/媒体)
83°
AI 领域顶级研究员、OpenAI 创始成员 Andrej Karpathy 正式加入 Anthropic,将主导预训练团队并组建新团队,探索利用 Claude 自身能力加速预训练研究。此举被视为 Anthropic 在顶尖 AI 人才争夺中的重大胜利,也标志着 Karpathy 从教育领域重返一线研发。他曾在特斯拉领导 Autopilot 计算机视觉团队,近期提出“vibe coding”概念,此次加盟将直接参与 Claude 模型的核心能力建设。
行业AnthropicAndrej Karpathy人才流动预训练Claude

推荐理由:Karpathy 从教育回归一线研发,意味着 Anthropic 在预训练自动化上押注重磅人才。关注大模型前沿进展的开发者,可以期待 Claude 能力加速迭代的新方向。
原文
精选全部日报登录