目前还做不到稳定可靠。在 2026 年 11 月的一项研究中,四个 LLM 阅读某人的 Facebook 帖子,再以此人的身份填写一份 60 题的大五人格问卷。平均误差看上去尚可,但模型在完全不读文本时的默认回答也能得到相近分数。此外,模型会把特质极高或极低的人拉回到平均水平。
这项研究是 《Large Language Models as Digital Twins: a Distribution-Aware Questionnaire-Based Evaluation》,作者为 Francesco Di Cursi、Chiara Boldrini、Andrea Passarella 和 Marco Conti,来自意大利国家研究委员会(CNR)比萨信息与电信研究所,Di Cursi 同时任职于比萨大学。论文于 2026 年 11 月 12 日发布在 arXiv。它提出的问题很简单,但对合成研究影响很大:模型能否以某个具体个人的身份回答标准问卷,而不只是像一个"看起来合理的普通人"那样作答?
这项研究测试了什么?
研究者把人格预测当作数字孪生任务来做。模型不直接输出特质标签,而是像本人那样逐题作答,再按人类问卷的方式计分。
- 数据:MyPersonality Facebook 数据集。作者保留了 125 名至少发过 25 条帖子的用户,并把每人的帖子合并成一份文档(中位数约 867 词)。每位用户都有自评的大五人格分数。
- 量表:BFI-2-60,每个特质(开放性、尽责性、外向性、宜人性、神经质)12 题,采用 1–5 分量表。
- 模型:GPT-4,以及三个本地运行的小型开源模型:Gemma 7B、Llama 3.1 8B 和 Mistral 7B,温度均设为 0,每个实验运行五次。
- 作答格式:"PerItem"(每题单独调用一次)和 "OneBatch"(一次调用完成整份问卷)。
这项研究真正有价值的地方在于基线设计。每个基于文本的预测都与三个总体参照值以及同一模型在没有任何用户文本时的回答进行对比。三个总体参照值分别是:从一个 130,000+ 人的网络样本常模中抽样得到的值、总体均值,以及量表中点 3。无文本条件揭示了模型在了解任何个人信息之前对"一般人"的默认认知。
LLM 数字孪生的平均准确度如何?
平均而言,它们常常优于主要的总体基线,但这本身说明不了太多。根据 Di Cursi 等人(2026)的结果,在 PerItem 格式下,Gemma 和 GPT-4 在开放性上的平均绝对误差(MAE)分别为 0.49 和 0.50,而抽样总体基线为 0.68。然而,Gemma 和 Llama 在完全没有用户文本的情况下,开放性得分也达到了 0.47。Mistral 在无文本时宜人性达到 0.54,而基线为 0.75。
| 条件(MAE,越低越好) | 无用户文本 | 有用户文本 | 总体基线 |
|---|---|---|---|
| Llama,宜人性,OneBatch | 1.33 | 0.68 | 不适用 |
| Mistral,外向性,OneBatch | 1.32 | 0.88 | 不适用 |
| GPT-4,开放性,PerItem | 0.58 | 0.50 | 0.68 |
| GPT-4,宜人性,PerItem | 0.69 | 0.60 | 不适用 |
| Gemma / Llama,开放性,PerItem | 0.47 | 不适用 | 0.68 |
有些条件在加入文本后改善明显,但整体规律并不稳定。作者报告,多组有文本与无文本的对比结果几乎相同,有时无文本反而更好。他们的第一个关键发现是:总体误差低,并不能说明模型用上了任何个人特有的信息。
LLM 数字孪生能捕捉极端人格吗?
大多不能。当作者按个人在各特质上所处的位置(最低四分之一、中间一半、最高四分之一)分别计算误差时,表面上的成功大幅缩水。模型对典型的人更有说服力,对特征鲜明的人则会向平均答案漂移。
最清楚的例子是 GPT-4 的开放性。它的总体 MAE 为 0.50,优于 0.68 的基线。拆开来看,开放性最低的四分之一用户误差约为 1.1,中间部分约为 0.4,最高的四分之一约为 0.2。漂亮的平均值几乎完全来自量表的一端。对于开放性低的用户,GPT-4 的表现还不如直接从总体常模中抽样。
少数情况确实以有意义的方式偏离了先验,尤其是 GPT-4 在宜人性上的表现,其次是 Llama 和 Mistral 在尽责性上的表现。作者认为这些例外太有限,不足以改变整体结论。
直接给模型目标人格档案有帮助吗?
只对 GPT-4 有帮助,而且只在部分特质上。在一项压力测试中,研究者不给模型帖子,而是直接提供此人真实的大五分数,要求模型据此作答。GPT-4 在外向性和神经质上,在分布的三个区间都低于基线。Gemma、Llama 和 Mistral 则至少在一端仍接近基线。也就是说,即使明确告诉模型要扮演谁,大多数模型也无法稳定地表达一个鲜明的人格档案。
更多文本能让数字孪生更准确吗?
不能。随着作者逐步输入更长的个人文本片段,误差并没有稳步下降,而是视片段和模型而定,时而改善、时而持平、时而变差。GPT-4 比开源模型更稳定,后者波动更大。当输入超过约 3,500 词时,Gemma 开始返回无效输出。
这对使用数字孪生的研究者意味着什么?
这项研究针对的是人格题目,但其教训适用于问卷和市场研究中使用的任何合成受访者或数字孪生:
- 始终运行无上下文基线。让同一模型在没有个人数据的情况下回答相同问题。如果孪生只是略好于此,它复现的是模型的先验,而不是这个人。
- 按群体分段报告误差,而不只报告平均值。把结果按低分、中间和高分人群拆开。平均值可能掩盖一个恰恰在你最想了解的受访者身上失效的孪生。
- 不要默认上下文越多越好。测试准确度如何随背景材料增加而变化,并留意小模型在长上下文下的失效。
- 在用孪生做决策之前,先用真实回答验证。把它们当作快速探索假设的工具,再通过真实受访者确认,例如借助 AI 主持的访谈与真人交流。
如果你使用 QualiTaTi 数字孪生面板这类工具构建面板,值得把这些检查纳入验证计划。关于个体层面准确度的相关讨论,可参阅我们对 LLM 数字孪生对真实受访者有多准确的总结。
这项研究有哪些局限?
报告的结果只来自一个数据集(MyPersonality)和一份问卷(BFI-2-60)。作者也在 Pandora 数据集和其他问卷上做了实验,但没有在正文中报告。模型数量较少,GPT-4 是唯一的商业闭源模型,作者也指出更新的模型可能表现更好,尤其是在长上下文方面。这篇论文是预印本,尚未经过同行评审。
常见问题
LLM 能以某个具体的人的身份填写人格问卷吗?
目前还不可靠。在这项 2026 年的研究中,四个模型根据个人的社交媒体帖子给出了看似合理的平均答案,但其准确度常常与模型自身的无文本回答和总体常模相当。
为什么 LLM 数字孪生难以模拟极端受访者?
模型倾向于回归典型答案。特质分数很低或很高的人常被拉回中间,因此平均准确度掩盖了分布两端的大误差。
应该如何验证数字孪生面板?
与同一模型的无上下文运行结果以及总体基线进行比较,分别报告低分、中间和高分人群的误差,并在依赖孪生之前用真实受访者进行核验。
最后更新:2026 年 11 月 20 日。本文是对 Di Cursi、Boldrini、Passarella 和 Conti(2026)第三方研究的独立编辑摘要,与作者无关联,也未获其认可。完整方法与结果请参阅原论文。
