把受访者的人口统计信息写进 LLM 提示词,对合成问卷答案几乎没有改善。2026 年 11 月一项针对 14 个语言模型的审计发现:模型一旦看过受访者此前的 8 个回答,年龄、学历、族裔等信息对个体预测的帮助就很小。只有当档案确实属于该受访者时,它才对群体比较有帮助;而即便如此,增益也主要来自标签本身,而不是这个人。
这项研究是 《Necessary for What? Auditing Demographic Disclosure to LLM Synthetic Respondents》,作者为台北中研院(Academia Sinica)的 Aspen Wang、Yen Yu Shan 和 Lun-Wei Ku,于 2026 年 11 月 16 日发布在 arXiv 上。它追问的是:合成问卷的哪些用途真正需要个人数据。
这项研究测试了什么?
作者检验的是:受访者本人的人口统计档案,能否让 LLM 更忠实地替代这位受访者作答。研究使用了两项美国问卷:
- Pew 美国趋势调查小组(American Trends Panel)第 54 波:1,000 名受访者、63 道关于经济不平等的目标题,每人有 15 个字段的人口统计档案。
- ISSP 2023 国家认同与公民身份模块:1,513 名美国受访者、27 道目标题,涉及国家自豪感、移民、公民身份和对机构的信任。
对每位受访者的每道目标题,模型都会看到此人另外 8 道题的回答,外加一个随条件变化的人口统计输入。研究者在两项问卷上运行了来自六个模型家族的 11 个开放权重模型(7B 到 72B 参数),并仅在 Pew 数据上运行了三个托管模型(GPT-4.1、GPT-6.1 Terra 和 Claude Haiku 5.5)。每个模型都与一个统计基准对比:用同样信息、基于真人回答拟合的正则化逻辑回归。
比较了哪些条件
- 仅历史回答:8 个此前回答,没有档案。
- 本人档案:受访者的真实档案。
- 打乱档案:换成另一位受访者的档案,用来检验"对应到正确的人"是否重要。
- 替代档案:用人口普查个人记录(ACS PUMS)或合成人设(Nemotron-Personas-USA)替代真实档案。
- 精简档案:把本人档案删减到 10、7 或 4 个字段。
人口统计信息能改善个体层面的合成回答吗?
几乎不能。根据 Wang、Shan 和 Ku(2026)的结果,提供受访者本人档案后,中位模型的预测误差(Brier 分数)在 Pew 数据上只降低了 3%,在 ISSP 上降低了 1%。模型看到的回答越多,人口统计信息的作用就越小。
总体估计的变化更小。仅凭历史回答时,模型的总体估计与真实样本相差 22 到 51 个百分点(总变差距离),而统计基准只差约 2 个百分点。加入档案后,中位模型的差距缩小不到 1 个百分点。论文摘要指出,对开放权重模型而言,用人口普查数据或合成人设替换真实档案后,总体层面的大部分增益仍然保留,因此并不需要这个人自己的数据。
人口统计档案在哪里有用?
群体比较是档案唯一明显有用的地方,而且必须是正确那个人的档案。在 Pew 数据上,中位模型仅凭历史回答能复现 22.6% 的有统计支持的真人群体差异,加入本人档案后升至 41.8%。对比误差在 Pew 上 11 个开放权重模型中有 7 个下降,在 ISSP 上 11 个中有 8 个下降。但统计基准从同一档案中获得的增益仍是模型的五到六倍。
用别人的档案比不用档案更糟。"打乱档案"条件让 Pew 上全部 11 个模型、ISSP 上 11 个中的 9 个的对比误差上升,并把复现差异的中位比例从 22.6% 降到 11.6%。
| 条件(Pew 数据,中位开放权重模型) | 复现的有真人数据支持的群体差异 |
|---|---|
| 仅历史回答(无档案) | 22.6% |
| 本人档案(15 个字段) | 41.8% |
| 本人档案删减到 10 个字段 | 40.0% |
| 另一位受访者的档案(打乱) | 11.6% |
来源:Wang、Shan 和 Ku(2026),arXiv:2611.20606,第 4.2–4.3 节。
模型读的是"人",还是"标签"?
主要是标签。把"打乱档案"条件下的预测按提示词中显示的档案分组(而不是按受访者的真实属性分组)时,它们在 Pew 上复现了 36% 的真人群体差异,在 ISSP 上复现了 25%;按真实属性分组时,两项问卷都只有 12%。
论文中家庭收入的例子很直观。在真人数据里,年收入 $100,000 及以上的受访者比年收入 $30,000–50,000 的受访者,在退休账户之外持有股票、债券或共同基金的比例高 45 个百分点。在中位模型中,显示这两种收入档案的受访者相差 51 个百分点;而按他们实际收入分组时,同一批预测只相差 2 个百分点。
这对效度检验很关键:常用的"合成样本能否复现已知群体差异"这一检验,分不清模型是在模拟这个人,还是在套用标签背后的刻板印象。
合成受访者在哪些群体差异上出错?
模型让各群体看起来比实际更相似,尤其在态度上。使用本人档案时,中位模型复现了 474 项客观处境差异(如储蓄和债务)中的 76%,但在 807 项态度差异(如对政府责任和不平等成因的看法)中只复现了 22%。统计基准分别为 92% 和 77%。
偏差在宗教信仰和族裔出身上最为严重,而这两者都属于 GDPR 下的特殊类别个人数据。较低的平均误差也可能掩盖被反转的结论:在 Pew 数据上,Llama 3.1 8B 加入档案后对比误差降低了 1.9 个百分点,却多反转了 104 项群体差异。
少披露数据会损失准确度吗?
损失很小,而且代价同样落在群体比较上。把档案从 15 个字段删减到 10 个,中位模型复现的差异从 41.8% 降到 40.0%,而总体指标没有一致趋势。但字段少并不等于匿名。在 Pew 样本中,仅 4 个人口统计字段能唯一识别 0.1% 的受访者,8 个此前回答能识别 18%,两者合起来却能识别 90%。
这对使用合成受访者的研究者意味着什么
实践上的结论是:每个字段都要按它服务的估计来论证必要性,而不是默认"档案越丰富,数字孪生越好"。作者提出了一套问卷机构可以在已实施题目上运行的审计流程:
- 列出合成问卷将要报告的估计(个体、总体、群体比较),以及每项需要达到的精度。
- 对比仅历史回答、本人档案与重新分配的档案,看披露和正确对应各自带来了什么。
- 对重新分配档案后的预测重新分组,看模型跟随的是人还是标签。
- 按属性和题目类型统计被复现、遗漏和反转的群体差异,因为仅看平均误差会掩盖这些问题。
- 在满足研究要求的条件中,优先选择披露最少的那一个。
对定性与混合方法团队来说,态度差距是最主要的警示。合成样本在客观处境上最可信,在群体间观点差异上最不可信,而后者恰恰是访谈或开放式问卷研究通常想了解的内容。如果你用数字孪生样本库做原型,可以用它预试题目、发现缺口,再通过真实受访者确认群体层面的态度结论,例如使用对话式 AI 问卷。
需要注意的局限
作者指出,结果仅覆盖两项美国问卷(经济不平等与国家认同),且目标题与模型收到的回答来自同一次调查。小群体、交叉群体和其他提示词格式没有测试,托管模型只在 Pew 数据上运行。在已实施题目上通过审计,并不代表模型在新题目上同样可靠。该论文是预印本,尚未经过同行评审。
常见问题
应该把人口统计信息写进 LLM 合成受访者的提示词吗?
只在需要它的估计上才这样做。在这项 2026 年的审计中,人口统计信息对个体回答和总体估计帮助很小。只有当档案属于受访者本人时,它才改善群体比较,而且模型依然更依赖标签而不是这个人。
人口普查数据或合成人设能替代真实受访者档案吗?
对开放权重模型的总体估计而言,基本可以:用人口普查数据或合成人设时大部分增益仍然保留。对群体比较而言则不行,不描述真实受访者的档案无法改善群体比较。
删减人口统计字段足以保护受访者吗?
不够。4 个字段加上 8 个此前回答,就能唯一识别 Pew 样本中 90% 的人,因此精简后的提示词仍可能识别出大多数人。
最后更新:2026 年 11 月 18 日。本文是对 Wang、Shan 和 Ku(2026)第三方研究的独立编辑摘要,与作者无关联,也未获作者背书。完整方法和结果请参阅原始论文。
