{"slug":"demographic-disclosure-llm-synthetic-respondents-2026","title":"人口统计信息能让 LLM 合成受访者更准吗？2026 年 14 个模型的审计","description":"人口统计信息能提升 LLM 合成受访者的准确度吗？2026 年一项 14 个模型的审计发现，档案对个体回答帮助很小，模型跟随的是标签而不是受访者本人。","keywords":"LLM 合成受访者,人口统计信息披露,合成问卷样本,数字孪生效度,数据最小化,硅基抽样,人设提示词","date":"2026-11-18","author":"Qualitati 研究团队","category":"研究方法论","readTime":"7 分钟阅读","content":"<p><strong>把受访者的人口统计信息写进 LLM 提示词，对合成问卷答案几乎没有改善。</strong>2026 年 11 月一项针对 14 个语言模型的审计发现：模型一旦看过受访者此前的 8 个回答，年龄、学历、族裔等信息对个体预测的帮助就很小。只有当档案确实属于该受访者时，它才对群体比较有帮助；而即便如此，增益也主要来自标签本身，而不是这个人。</p>\n\n<p>这项研究是 <a href=\"https://arxiv.org/abs/2611.20606\" target=\"_blank\" rel=\"noopener\">《Necessary for What? Auditing Demographic Disclosure to LLM Synthetic Respondents》</a>，作者为台北中研院（Academia Sinica）的 Aspen Wang、Yen Yu Shan 和 Lun-Wei Ku，于 2026 年 11 月 16 日发布在 arXiv 上。它追问的是：合成问卷的哪些用途真正需要个人数据。</p>\n\n<h2>这项研究测试了什么？</h2>\n\n<p>作者检验的是：受访者本人的人口统计档案，能否让 LLM 更忠实地替代这位受访者作答。研究使用了两项美国问卷：</p>\n\n<ul>\n  <li><strong>Pew 美国趋势调查小组（American Trends Panel）第 54 波</strong>：1,000 名受访者、63 道关于经济不平等的目标题，每人有 15 个字段的人口统计档案。</li>\n  <li><strong>ISSP 2023 国家认同与公民身份模块</strong>：1,513 名美国受访者、27 道目标题，涉及国家自豪感、移民、公民身份和对机构的信任。</li>\n</ul>\n\n<p>对每位受访者的每道目标题，模型都会看到此人另外 8 道题的回答，外加一个随条件变化的人口统计输入。研究者在两项问卷上运行了来自六个模型家族的 11 个开放权重模型（7B 到 72B 参数），并仅在 Pew 数据上运行了三个托管模型（GPT-4.1、GPT-6.1 Terra 和 Claude Haiku 5.5）。每个模型都与一个统计基准对比：用同样信息、基于真人回答拟合的正则化逻辑回归。</p>\n\n<h3>比较了哪些条件</h3>\n\n<ol>\n  <li><strong>仅历史回答</strong>：8 个此前回答，没有档案。</li>\n  <li><strong>本人档案</strong>：受访者的真实档案。</li>\n  <li><strong>打乱档案</strong>：换成另一位受访者的档案，用来检验\"对应到正确的人\"是否重要。</li>\n  <li><strong>替代档案</strong>：用人口普查个人记录（ACS PUMS）或合成人设（Nemotron-Personas-USA）替代真实档案。</li>\n  <li><strong>精简档案</strong>：把本人档案删减到 10、7 或 4 个字段。</li>\n</ol>\n\n<h2>人口统计信息能改善个体层面的合成回答吗？</h2>\n\n<p>几乎不能。根据 Wang、Shan 和 Ku（2026）的结果，提供受访者本人档案后，中位模型的预测误差（Brier 分数）在 Pew 数据上只降低了 3%，在 ISSP 上降低了 1%。模型看到的回答越多，人口统计信息的作用就越小。</p>\n\n<p>总体估计的变化更小。仅凭历史回答时，模型的总体估计与真实样本相差 22 到 51 个百分点（总变差距离），而统计基准只差约 2 个百分点。加入档案后，中位模型的差距缩小不到 1 个百分点。论文摘要指出，对开放权重模型而言，用人口普查数据或合成人设替换真实档案后，总体层面的大部分增益仍然保留，因此并不需要这个人自己的数据。</p>\n\n<h2>人口统计档案在哪里有用？</h2>\n\n<p>群体比较是档案唯一明显有用的地方，而且必须是正确那个人的档案。在 Pew 数据上，中位模型仅凭历史回答能复现 22.6% 的有统计支持的真人群体差异，加入本人档案后升至 41.8%。对比误差在 Pew 上 11 个开放权重模型中有 7 个下降，在 ISSP 上 11 个中有 8 个下降。但统计基准从同一档案中获得的增益仍是模型的五到六倍。</p>\n\n<p>用别人的档案比不用档案更糟。\"打乱档案\"条件让 Pew 上全部 11 个模型、ISSP 上 11 个中的 9 个的对比误差上升，并把复现差异的中位比例从 22.6% 降到 11.6%。</p>\n\n<table>\n  <thead>\n    <tr><th>条件（Pew 数据，中位开放权重模型）</th><th>复现的有真人数据支持的群体差异</th></tr>\n  </thead>\n  <tbody>\n    <tr><td>仅历史回答（无档案）</td><td>22.6%</td></tr>\n    <tr><td>本人档案（15 个字段）</td><td>41.8%</td></tr>\n    <tr><td>本人档案删减到 10 个字段</td><td>40.0%</td></tr>\n    <tr><td>另一位受访者的档案（打乱）</td><td>11.6%</td></tr>\n  </tbody>\n</table>\n<p><em>来源：Wang、Shan 和 Ku（2026），arXiv:2611.20606，第 4.2–4.3 节。</em></p>\n\n<h2>模型读的是\"人\"，还是\"标签\"？</h2>\n\n<p>主要是标签。把\"打乱档案\"条件下的预测按提示词中显示的档案分组（而不是按受访者的真实属性分组）时，它们在 Pew 上复现了 36% 的真人群体差异，在 ISSP 上复现了 25%；按真实属性分组时，两项问卷都只有 12%。</p>\n\n<p>论文中家庭收入的例子很直观。在真人数据里，年收入 $100,000 及以上的受访者比年收入 $30,000–50,000 的受访者，在退休账户之外持有股票、债券或共同基金的比例高 45 个百分点。在中位模型中，<em>显示</em>这两种收入档案的受访者相差 51 个百分点；而按他们<em>实际</em>收入分组时，同一批预测只相差 2 个百分点。</p>\n\n<p>这对效度检验很关键：常用的\"合成样本能否复现已知群体差异\"这一检验，分不清模型是在模拟这个人，还是在套用标签背后的刻板印象。</p>\n\n<h2>合成受访者在哪些群体差异上出错？</h2>\n\n<p>模型让各群体看起来比实际更相似，尤其在态度上。使用本人档案时，中位模型复现了 474 项客观处境差异（如储蓄和债务）中的 76%，但在 807 项态度差异（如对政府责任和不平等成因的看法）中只复现了 22%。统计基准分别为 92% 和 77%。</p>\n\n<p>偏差在宗教信仰和族裔出身上最为严重，而这两者都属于 GDPR 下的特殊类别个人数据。较低的平均误差也可能掩盖被反转的结论：在 Pew 数据上，Llama 3.1 8B 加入档案后对比误差降低了 1.9 个百分点，却多反转了 104 项群体差异。</p>\n\n<h2>少披露数据会损失准确度吗？</h2>\n\n<p>损失很小，而且代价同样落在群体比较上。把档案从 15 个字段删减到 10 个，中位模型复现的差异从 41.8% 降到 40.0%，而总体指标没有一致趋势。但字段少并不等于匿名。在 Pew 样本中，仅 4 个人口统计字段能唯一识别 0.1% 的受访者，8 个此前回答能识别 18%，两者合起来却能识别 90%。</p>\n\n<h2>这对使用合成受访者的研究者意味着什么</h2>\n\n<p>实践上的结论是：每个字段都要按它服务的估计来论证必要性，而不是默认\"档案越丰富，数字孪生越好\"。作者提出了一套问卷机构可以在已实施题目上运行的审计流程：</p>\n\n<ol>\n  <li>列出合成问卷将要报告的估计（个体、总体、群体比较），以及每项需要达到的精度。</li>\n  <li>对比仅历史回答、本人档案与重新分配的档案，看披露和正确对应各自带来了什么。</li>\n  <li>对重新分配档案后的预测重新分组，看模型跟随的是人还是标签。</li>\n  <li>按属性和题目类型统计被复现、遗漏和反转的群体差异，因为仅看平均误差会掩盖这些问题。</li>\n  <li>在满足研究要求的条件中，优先选择披露最少的那一个。</li>\n</ol>\n\n<p>对定性与混合方法团队来说，态度差距是最主要的警示。合成样本在客观处境上最可信，在群体间观点差异上最不可信，而后者恰恰是访谈或开放式问卷研究通常想了解的内容。如果你用<a href=\"https://qualitati.com/digital-twins\">数字孪生样本库</a>做原型，可以用它预试题目、发现缺口，再通过真实受访者确认群体层面的态度结论，例如使用<a href=\"https://qualitati.com/surveys\">对话式 AI 问卷</a>。</p>\n\n<h3>需要注意的局限</h3>\n\n<p>作者指出，结果仅覆盖两项美国问卷（经济不平等与国家认同），且目标题与模型收到的回答来自同一次调查。小群体、交叉群体和其他提示词格式没有测试，托管模型只在 Pew 数据上运行。在已实施题目上通过审计，并不代表模型在新题目上同样可靠。该论文是预印本，尚未经过同行评审。</p>\n\n<h2>常见问题</h2>\n\n<h3>应该把人口统计信息写进 LLM 合成受访者的提示词吗？</h3>\n<p>只在需要它的估计上才这样做。在这项 2026 年的审计中，人口统计信息对个体回答和总体估计帮助很小。只有当档案属于受访者本人时，它才改善群体比较，而且模型依然更依赖标签而不是这个人。</p>\n\n<h3>人口普查数据或合成人设能替代真实受访者档案吗？</h3>\n<p>对开放权重模型的总体估计而言，基本可以：用人口普查数据或合成人设时大部分增益仍然保留。对群体比较而言则不行，不描述真实受访者的档案无法改善群体比较。</p>\n\n<h3>删减人口统计字段足以保护受访者吗？</h3>\n<p>不够。4 个字段加上 8 个此前回答，就能唯一识别 Pew 样本中 90% 的人，因此精简后的提示词仍可能识别出大多数人。</p>\n\n<p><em>最后更新：2026 年 11 月 18 日。本文是对 Wang、Shan 和 Ku（2026）第三方研究的独立编辑摘要，与作者无关联，也未获作者背书。完整方法和结果请参阅<a href=\"https://arxiv.org/abs/2611.20606\" target=\"_blank\" rel=\"noopener\">原始论文</a>。</em></p>\n","related":[{"slug":"llm-generated-codebook-audit-eight-models-2026","title":"不同 LLM 会写出同一份编码手册吗？8 个模型的审计（2026）","description":"不同大语言模型会写出同一份定性编码手册吗？2026 年一项审计让 8 个模型分析 668 场访谈，发现类别各不相同，模型间一致性仅约 .69。","category":"研究方法论","date":"2026-11-17","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-simulated-users-stance-stability-audit-2026","title":"LLM 模拟用户的观点稳定吗？2026 年立场模拟审计研究解读","description":"LLM 模拟用户的观点稳定吗？2026 年一项覆盖 1,821 段 Reddit 对话的审计发现，只改写一条消息，GPT-5.2 的模拟立场平均偏移最高可达 49%。","category":"研究方法论","date":"2026-11-13","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"prediction-powered-inference-ai-augment-surveys-2026","title":"AI 能增强问卷调查吗？2026 年预测驱动推断研究解读","description":"AI 能否在不取代受访者的情况下增强问卷？2026 年一项覆盖 GSS 与 NHIS 共 83 个结果变量的研究发现，预测驱动推断可带来 7–12% 的有效样本量提升。","category":"研究方法论","date":"2026-11-12","readTime":"6 分钟阅读","author":"Qualitati 研究团队"}]}