20:32Hugging Face: Blog(博客/媒体)精选NVIDIA 提出了一种名为 Task-Seeded Synthetic Q&A Generation 的方法,用于为 Nemotron 模型预训练生成高质量的合成问答数据。该方法通过任务种子(task seeds)引导生成多样化的问答对,解决了传统数据生成中覆盖不足和多样性低的问题。实验表明,使用该方法生成的合成数据训练的模型在多个基准测试上表现优异,甚至优于使用真实数据训练的模型。这项技术有望降低对人工标注数据的依赖,加速大语言模型的开发。论文NVIDIANemotron合成数据预训练问答生成10 个信源在谈推荐理由:NVIDIA 用任务种子生成合成数据,解决了预训练数据稀缺和多样性不足的问题,做 NLP 和模型训练的团队可以关注,能显著降低数据标注成本。原文
09:36SuperTechFans(博客/媒体)88°Andrej Karpathy 宣布加入 Anthropic 预训练团队,计划将 AutoResearch 理念扩展为递归训练项目,以提升 Claude 核心能力。社区对此褒贬不一,有人认为这是自动化研究的好方向,也有人质疑其创新性。Karpathy 表示仍会继续从事教育事业。此举可能加速 Anthropic 在预训练技术上的突破。AI模型AnthropicKarpathy预训练递归训练Claude10 个信源在谈推荐理由:Karpathy 的加入可能改变 Claude 的预训练范式,关注大模型训练的开发者值得了解递归训练的具体思路。原文
07:22IT之家(博客/媒体)83°AI 领域顶级研究员、OpenAI 创始成员 Andrej Karpathy 正式加入 Anthropic,将主导预训练团队并组建新团队,探索利用 Claude 自身能力加速预训练研究。此举被视为 Anthropic 在顶尖 AI 人才争夺中的重大胜利,也标志着 Karpathy 从教育领域重返一线研发。他曾在特斯拉领导 Autopilot 计算机视觉团队,近期提出“vibe coding”概念,此次加盟将直接参与 Claude 模型的核心能力建设。行业AnthropicAndrej Karpathy人才流动预训练Claude10 个信源在谈推荐理由:Karpathy 从教育回归一线研发,意味着 Anthropic 在预训练自动化上押注重磅人才。关注大模型前沿进展的开发者,可以期待 Claude 能力加速迭代的新方向。原文