研究评估 GPT-4、Gemma 等模型能否模拟个人人格问卷回答

一篇 arXiv 论文测试了 GPT-4、Gemma、Llama 3.1 和 Mistral 能否基于用户社交媒体帖子，代其回答 BFI-2-60 大五人格问卷，并在 MyPersonality 数据集上与用户真实得分对比。研究设置了三组基线：不带用户文本的作答、基于总体人群倾向的取值，以及只给目标 Big Five 分数时的显式作答，用以区分预测是否真的来自用户写作内容。 结果显示，提供用户文本并未稳定提升预测效果。模型在特质分布中段表现较好，但在分布两端往往停留在中心值，或在一端表现良好、另一端表现很差。在只给显式人格画像的条件下，GPT-4 最能将特质信息转化为一致的问卷回答，尤其在 Extraversion 和 Neuroticism 维度上。增加上下文文本长度也没有系统性降低误差：开源模型波动较大，GPT-4 相对稳定。 这项工作对“数字孪生”式个性化模拟提出了量化质疑：当前主流模型尚不能稳定复现具体个体的问卷行为，做用户模拟或社会科学实验的研究者需要谨慎对待这类应用。