精选理由
这篇论文告诉你，用模型自己问自己生成的问答数据来训练模型，可能会引入隐蔽的偏见和指令注入风险。他们用一个简单方法就能把问题率从88%压到13%，值得做数据合成的同学看看。
语言模型越来越多地使用自生成的问答数据来微调或蒸馏。研究表明，生成阶段并非中性预处理，而是隐含策略：模型在提问时不会均匀扫描文档，覆盖很快饱和并集中在显著区域，不同提示也会聚焦相同片段。在回答阶段，模型倾向于服从文本中嵌入的指令性内容，且这种服从取决于指令的表面形式和意图。作者通过将每个问题固定到特定目标降低了选择偏差，并在回答前过滤指令性文本，将注入合规率从88%降至13%，同时保留几乎所有干净文本。
AI 翻译 · 中文
语言模型越来越多地使用自生成的问答数据来微调或蒸馏。研究表明，生成阶段并非中性预处理，而是隐含策略：模型在提问时不会均匀扫描文档，覆盖很快饱和并集中在显著区域，不同提示也会聚焦相同片段。在回答阶段，模型倾向于服从文本中嵌入的指令性内容，且这种服从取决于指令的表面形式和意图。作者通过将每个问题固定到特定目标降低了选择偏差，并在回答前过滤指令性文本，将注入合规率从88%降至13%，同时保留几乎所有干净文本。
Language models are increasingly taught from synthetic question--answer (QA) supervision: a model generates questions about a document, answers them from the same text, and the resulting pairs are used to fine-tune, dist…