简短回答：目前还不能。Kumagae 和 Kaneko 的一项 2026 年研究在两项美国社会调查上测试了六个 LLM 作为“硅基样本”的表现。合成人群虽然复现了每道题的答案分布，但没有一个模型对真实受访者的覆盖程度能达到另一组真人样本的水平。六个模型甚至都不如一个对每道题独立抽样的简单基线。
最后更新：2026 年 10 月 26 日
\n\n硅基抽样（silicon sampling）是指让大语言模型以某种人口学身份（例如一位三十多岁的女性）回答整份问卷，再对大量人设重复这一过程，从而构建一个合成人群。现有的效度检验大多逐题比较答案。预印本论文 Silicon Samples Match the Answers but Not the Respondents（Yusuke Kumagae，博报堂 DY 控股；Masahiro Kaneko，MBZUAI；arXiv，2026 年 10 月）检验的是另一件事：合成出来的人是否像真实的人。
\n\n受访者覆盖差距（respondent coverage gap，RCG）衡量的是：每位真实受访者与最近的合成受访者之间的距离，相比他们与最近的另一位真实受访者之间的距离有多远。每位受访者被视为一个点，由其在全部题目上的完整答案组合定义。作者取这些最近邻距离的第 95 百分位数，再除以仅在真人之间计算出的同一数值。
\n\n配套指标“离支撑比”（off-support ratio，OSR）方向相反：它检查合成受访者是否离任何真实受访者都异常遥远。两个比值结合起来，不仅能告诉你合成样本是否失败，还能告诉你如何失败。
\n\n这个指标的意义很直接。两个合成人群可以完美匹配每道题的答案分布，却仍然由一些答案组合在真实人群中根本不存在的“人”组成。逐题检验看不到这一点。
\n\n研究在两项美国居民调查上比较了六个 LLM 和三个统计基线，每项调查各使用 100 道题。
\n\n每个 LLM 一次回答一道题，提示词中包含人设以及它自己此前最多三个答案。指令措辞、人设格式、题目顺序和选项顺序都经过随机化，以减少措辞效应。
\n\n没有一个达到真人水平，而且全部输给了最简单的基线。根据 Kumagae 和 Kaneko（2026）的结果，未校准的 LLM 在世界价值观调查上的得分为 1.199 至 1.275，在 ANES 上为 1.277 至 1.370。一组留出的真人样本得分分别为 1.001 和 1.000。
\n\n| 生成方式 | RCG，世界价值观调查 | RCG，ANES 2024 |
|---|---|---|
| 另一组真人样本（参照） | 1.001 | 1.000 |
| 高斯 copula 基线 | 1.041 | 1.091 |
| 潜在类别基线 | 1.105 | 1.143 |
| Marginals 基线（各题独立抽样） | 1.158 | 1.250 |
| 最佳 LLM（WVS 上为 gemma-4-12B，ANES 上为 Llama-3.3-70B） | 1.199 | 1.277 |
| 最差 LLM（WVS 上为 Llama-3.3-70B，ANES 上为 gpt-5.4-nano） | 1.275 | 1.370 |
Marginals 的结果最令人不安。这个基线完全不知道一个人的各个答案之间如何关联，只是逐题独立抽样。然而每个 LLM 对真实受访者的覆盖都不如它，而且在两项调查中，所有模型与它的差距都具有统计显著性。作者也没有发现按模型家族、开源与闭源权重或模型规模呈现的一致排序。
\n\n因为它们是沿着题目而不是沿着人来汇总的。作者指出，在世界价值观调查上，Marginals 基线在一个常用的相关结构指标上得分 0.994，而真人数据的折半上限为 0.995，但它的 RCG 却是 1.158。他们还证明，如果在单元格内把答案在受访者之间打乱（这会破坏每个真实受访者的答案组合），这个相关指标的得分完全不变。
\n\n逐题距离指标也有同样的盲点。校准之后，LLM 的逐题分布是所有生成方式中最接近真实数据的，但对受访者的覆盖仍不如 copula 和潜在类别基线。简单地说：一张“与公开数据吻合”的图表，并不能证明合成样本里有真实可信的受访者。我们此前在讨论合成问卷样本的边际拟合度时提出过类似观点；这篇论文提供了一个直接的受访者层面的检验。
\n\n离支撑比把这些模型分成两种失败模式：
\n\n收缩与早先关于方差缩小和群体差异被抹平的发现相呼应。离支撑生成则是相反的风险：单个答案看似合理，组合起来却是并不存在的人。
\n\n这些做法都有一定帮助，但都没有消除差距。论文报告：
\n\n应把合成受访者当作问卷预试和生成假设的工具，而不是真人样本的替代品。如果确实要使用合成样本，应要求提供受访者层面的验证，而不仅是逐题图表。从这篇论文可以得出三项实用检查：
\n\n请注意研究的局限：它只涉及两项社会调查中的美国受访者，使用开箱即用的提示方式，没有测试微调或基于背景故事的人设。它也是一篇尚未经过同行评审的预印本。
\n\n硅基抽样是指让 LLM 以指定人口学属性的身份回答问卷，并对大量人设重复这一过程，从而构建一个合成受访者人群。
\n\n就目前的证据而言不能。在这项 2026 年研究中，六个 LLM 对真实受访者的覆盖都不如另一组真人样本，而且全部落后于一个独立抽样的基线。
\n\n不够。研究表明，合成人群可以匹配逐题分布和相关指标，而其中的个体受访者仍与真实的人不同。
\n\n接近 1.0，也就是另一组独立真人样本的得分。高于 1.0 意味着部分真实受访者没有相近的合成对应者。
\n\n来源：Kumagae, Y., & Kaneko, M. (2026). Silicon Samples Match the Answers but Not the Respondents. arXiv:2610.30900.
\n\n最后更新：2026 年 10 月 26 日。本文是 Qualitati 研究团队对第三方研究的独立编辑摘要，与论文作者无关联，也未获其背书。
\n","related":[{"slug":"ai-vs-human-interviewers-randomized-chat-experiment-2026","title":"AI 访谈员 vs 人类访谈员：2026 年随机实验发现了什么","description":"一项 2026 年随机实验比较了 AI 与人类访谈员的文字聊天访谈：切题程度相同，具体性差距未被检测到，文本多出 65%，但跳题更多。","category":"AI 用户研究","date":"2026-10-19","readTime":"8 分钟阅读","author":"Qualitati 研究团队"},{"slug":"artificial-societies-benchmark-synthetic-population-validity-2026","title":"合成人群数据有效吗？2026 年 11 项检验基准研究","description":"合成人群数据是否有效？2026 年一项基准研究用 11 项效度检验评估 9 个大语言模型：它们能复现平均值，却压缩量表区间并扭曲特质之间的关系。","category":"AI 用户研究","date":"2026-10-15","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"synthetic-consumers-visual-marketing-pretest-2026","title":"合成消费者能预测试 logo 和广告吗？2026 研究结果","description":"合成消费者能否预测试视觉营销？2026 年研究发现，GPT 智能体能正确识别 logo 特征，但六项人类效应最多只复现 2 项，还有 1 项结论相反。","category":"AI 用户研究","date":"2026-10-14","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}