NVIDIA Nemotron 预训练：任务种子合成 Q&A 生成

NVIDIA 提出了一种名为 Task-Seeded Synthetic Q&A Generation 的方法，用于为 Nemotron 模型预训练生成高质量的合成问答数据。该方法通过任务种子（task seeds）引导生成多样化的问答对，解决了传统数据生成中覆盖不足和多样性低的问题。实验表明，使用该方法生成的合成数据训练的模型在多个基准测试上表现优异，甚至优于使用真实数据训练的模型。这项技术有望降低对人工标注数据的依赖，加速大语言模型的开发。