简短回答：目前还不能。Kumagae 和 Kaneko 的一项 2026 年研究在两项美国社会调查上测试了六个 LLM 作为“硅基样本”的表现。合成人群虽然复现了每道题的答案分布，但没有一个模型对真实受访者的覆盖程度能达到另一组真人样本的水平。六个模型甚至都不如一个对每道题独立抽样的简单基线。
最后更新：2026 年 10 月 26 日
硅基抽样（silicon sampling）是指让大语言模型以某种人口学身份（例如一位三十多岁的女性）回答整份问卷，再对大量人设重复这一过程，从而构建一个合成人群。现有的效度检验大多逐题比较答案。预印本论文 Silicon Samples Match the Answers but Not the Respondents（Yusuke Kumagae，博报堂 DY 控股；Masahiro Kaneko，MBZUAI；arXiv，2026 年 10 月）检验的是另一件事：合成出来的人是否像真实的人。
什么是受访者覆盖差距？
受访者覆盖差距（respondent coverage gap，RCG）衡量的是：每位真实受访者与最近的合成受访者之间的距离，相比他们与最近的另一位真实受访者之间的距离有多远。每位受访者被视为一个点，由其在全部题目上的完整答案组合定义。作者取这些最近邻距离的第 95 百分位数，再除以仅在真人之间计算出的同一数值。
- RCG 约为 1.0，意味着合成人群对真实受访者的覆盖程度与另一组真人样本相当。
- RCG 高于 1.0，意味着部分真实受访者找不到相近的合成对应者：他们没有被覆盖。
配套指标“离支撑比”（off-support ratio，OSR）方向相反：它检查合成受访者是否离任何真实受访者都异常遥远。两个比值结合起来，不仅能告诉你合成样本是否失败，还能告诉你如何失败。
这个指标的意义很直接。两个合成人群可以完美匹配每道题的答案分布，却仍然由一些答案组合在真实人群中根本不存在的“人”组成。逐题检验看不到这一点。
这项研究测试了什么？
研究在两项美国居民调查上比较了六个 LLM 和三个统计基线，每项调查各使用 100 道题。
- 世界价值观调查（World Values Survey）（第 7 轮，美国样本）：2,594 名受访者，730 个人口学单元格。
- 美国全国选举研究（ANES）（2024 年一轮）：5,453 名受访者，603 个单元格。
- 模型：gpt-5.4-nano、gemini-3.1-flash-lite、Qwen3.5-9B、gemma-4-12B、gpt-oss-20b 和 Llama-3.3-70B，均为开箱即用。
- 基线：“Marginals”（从真实的逐题分布中独立抽取每个答案）、高斯 copula（同时建模题目之间的共变关系），以及一个两类潜在类别模型。
每个 LLM 一次回答一道题，提示词中包含人设以及它自己此前最多三个答案。指令措辞、人设格式、题目顺序和选项顺序都经过随机化，以减少措辞效应。
LLM 硅基样本对真实受访者的覆盖程度如何？
没有一个达到真人水平，而且全部输给了最简单的基线。根据 Kumagae 和 Kaneko（2026）的结果，未校准的 LLM 在世界价值观调查上的得分为 1.199 至 1.275，在 ANES 上为 1.277 至 1.370。一组留出的真人样本得分分别为 1.001 和 1.000。
| 生成方式 | RCG，世界价值观调查 | RCG，ANES 2024 |
|---|---|---|
| 另一组真人样本（参照） | 1.001 | 1.000 |
| 高斯 copula 基线 | 1.041 | 1.091 |
| 潜在类别基线 | 1.105 | 1.143 |
| Marginals 基线（各题独立抽样） | 1.158 | 1.250 |
| 最佳 LLM（WVS 上为 gemma-4-12B，ANES 上为 Llama-3.3-70B） | 1.199 | 1.277 |
| 最差 LLM（WVS 上为 Llama-3.3-70B，ANES 上为 gpt-5.4-nano） | 1.275 | 1.370 |
Marginals 的结果最令人不安。这个基线完全不知道一个人的各个答案之间如何关联，只是逐题独立抽样。然而每个 LLM 对真实受访者的覆盖都不如它，而且在两项调查中，所有模型与它的差距都具有统计显著性。作者也没有发现按模型家族、开源与闭源权重或模型规模呈现的一致排序。
为什么常规的拟合度指标发现不了这个问题？
因为它们是沿着题目而不是沿着人来汇总的。作者指出，在世界价值观调查上，Marginals 基线在一个常用的相关结构指标上得分 0.994，而真人数据的折半上限为 0.995，但它的 RCG 却是 1.158。他们还证明，如果在单元格内把答案在受访者之间打乱（这会破坏每个真实受访者的答案组合），这个相关指标的得分完全不变。
逐题距离指标也有同样的盲点。校准之后，LLM 的逐题分布是所有生成方式中最接近真实数据的，但对受访者的覆盖仍不如 copula 和潜在类别基线。简单地说：一张“与公开数据吻合”的图表，并不能证明合成样本里有真实可信的受访者。我们此前在讨论合成问卷样本的边际拟合度时提出过类似观点；这篇论文提供了一个直接的受访者层面的检验。
合成受访者是如何失败的？
离支撑比把这些模型分成两种失败模式：
- 收缩。gemma-4-12B、gemini-3.1-flash-lite 和 Llama-3.3-70B 生成的受访者贴近典型的真实受访者，却让其他人无人覆盖（WVS 上 OSR 为 0.722–0.840）。合成人群挤在中心附近，丢失了尾部。
- 离支撑生成。gpt-oss-20b、gpt-5.4-nano 和 Qwen3.5-9B 在 ANES 上生成的受访者，其答案组合与任何真实受访者都异常遥远（OSR 为 1.144–1.213）。
收缩与早先关于方差缩小和群体差异被抹平的发现相呼应。离支撑生成则是相反的风险：单个答案看似合理，组合起来却是并不存在的人。
校准、推理或更大的模型能解决吗？
这些做法都有一定帮助，但都没有消除差距。论文报告：
- 校准每道题的答案分布使其与真实分布一致，降低了全部六个模型的 RCG（WVS 上降至 1.126–1.150，ANES 上降至 1.178–1.232），优于 Marginals，但仍不及 copula 和潜在类别基线。
- 增加合成受访者数量收效缓慢。每个单元格生成 10,000 名受访者（真人样本的 100 倍）时，开源权重模型在 WVS 子集上的 RCG 仍高于 1，约为 1.09–1.13。作者的粗略外推显示，要达到真人水平的覆盖，每个单元格需要数十万名合成受访者。
- 完整作答历史、更高推理强度和更高档位的模型（gpt-5.4、gemini-3.1-pro-preview）让部分模型接近或低于 Marginals，但在所有测试设置中，每个 LLM 都仍高于高斯 copula。
- 温度对 RCG 几乎没有影响（同一模型内最多变化 0.033）。
这对使用合成受访者的研究者意味着什么
应把合成受访者当作问卷预试和生成假设的工具，而不是真人样本的替代品。如果确实要使用合成样本，应要求提供受访者层面的验证，而不仅是逐题图表。从这篇论文可以得出三项实用检查：
- 问清楚样本是如何验证的。匹配边际分布或相关矩阵是必要的，但并不充分。
- 关注尾部。如果你的研究问题依赖少见或少数群体的答案模式，收缩正是你应当预料到的失败方式。
- 以真人为锚。用合成运行来打磨访谈提纲，然后收集真实的声音。数字孪生样本库（Digital Twin Panel）这类工具适合用来预演，而 AI 访谈员（AI Interviewer）可以帮你大规模接触真实受访者。
请注意研究的局限：它只涉及两项社会调查中的美国受访者，使用开箱即用的提示方式，没有测试微调或基于背景故事的人设。它也是一篇尚未经过同行评审的预印本。
常见问题
什么是硅基抽样？
硅基抽样是指让 LLM 以指定人口学属性的身份回答问卷，并对大量人设重复这一过程，从而构建一个合成受访者人群。
LLM 合成受访者能替代真人问卷样本吗？
就目前的证据而言不能。在这项 2026 年研究中，六个 LLM 对真实受访者的覆盖都不如另一组真人样本，而且全部落后于一个独立抽样的基线。
匹配答案分布就足以验证合成样本吗？
不够。研究表明，合成人群可以匹配逐题分布和相关指标，而其中的个体受访者仍与真实的人不同。
受访者覆盖差距多少算好？
接近 1.0，也就是另一组独立真人样本的得分。高于 1.0 意味着部分真实受访者没有相近的合成对应者。
来源：Kumagae, Y., & Kaneko, M. (2026). Silicon Samples Match the Answers but Not the Respondents. arXiv:2610.30900.
最后更新：2026 年 10 月 26 日。本文是 Qualitati 研究团队对第三方研究的独立编辑摘要，与论文作者无关联，也未获其背书。