PersonaHate:基于人设的数据合成管线,生成 791K 仇恨言论数据集
arXiv 论文 PersonaHate 提出一条可扩展的人设驱动数据合成管线,用于构建覆盖面更全的仇恨言论数据集。管线从两个真实来源抽取 457K 人设池,以此条件化 8 个 LLM 生成针对 34 个身份群体的仇恨内容,并经多裁判模型标注获得可靠标签,最终得到 791K 样本语料,再从中整理出 67K 的群体均衡训练集。 机制上,PersonaHate 用人设作为生成条件的锚点,避免合成数据集中于少数目标群体;模块化设计允许接入新的身份群体、生成器和新出现的仇恨对象。基于该数据集,论文比较了从零训练和继续微调两种策略:一个 184M 参数的 DeBERTa-v3 模型达到 77.5% 平均 F1 和 79.4% 平均准确率,在 HateBenchSet 和 MHS 两个外部基准上超过 OpenAI 的 Moderation API。 对开源生态的更直接信号是,微调 Llama-3.1-8B 将其平均 F1 从 70.7% 提升到 78.4%,提高 7.7 个百分点,并在 4 个基准中的 3 个上超过 Meta 官方同架构的 LlamaGuard-3。这说明中小模型配合高质量合成数据,在内容审核这类任务上可以逼近甚至超过专用的安全模型,对自建审核管线的内容平台有参考价值。
Current read
一篇很实用的数据合成论文:8 个 LLM 按人设生成了 79 万条仇恨言论样本。用它的 6.7 万条数据微调后,Llama-3.1-8B 的 F1 比 Meta 自家 LlamaGuard-3 还高。做内容审核或安全数据集的团队直接照着抄管线就行。
Evidence
11 sourcesConflict check
Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.