合成人群数据有效吗？2026 年 11 项检验基准研究

Qualitati 研究团队 · 2026-10-15 · 7 分钟阅读

简短回答：合成人群只对它经过检验的那类分析有效。2026 年 9 月发布的一项基准研究，让九个语言模型对照二十个人类数据源完成了十一项效度检验。结果发现，模型往往能复现平均答案，但作答过于一致、压缩了量表区间，并扭曲了特质之间的关系。应当针对你计划进行的具体分析做验证，而不是依赖一个总分。

合成受访者是被要求以特定人群身份回答问卷的语言模型智能体。市场研究者、用户体验团队和社会科学家越来越多地用它们来预测试问卷、筛选概念，或补充难以接触的样本。悬而未决的问题是：如何判断某个合成样本是否足以胜任某项具体任务？Edoardo Chidichimo、Min Jun Jung、Felix P. S. Wallis 和 James K. He 的新预印本 "Artificial Societies Benchmark: A Validation Framework for Synthetic Research"（arXiv，2026）给出了一个结构化的答案：一组按效度类型分组的检验。

要点速览

平均值不够。根据 Chidichimo 等人（2026）的研究，合成问卷可能答对了平均值，却错误呈现了人与人之间的差异。
没有单一总分。该基准分别报告十一项检验，因为通过某一个效度领域并不能证明其他领域同样有效。
模型过于一致。在改写后的问题上，九个模型中有八个 100% 与自己前后一致，而人类约为 85%。
更丰富的画像并非稳赚。加入更多个人信息让部分模型误差下降，却让另一些模型误差上升。

Artificial Societies Benchmark 检验了什么？

该基准检验合成人群能否支撑研究者计划进行的具体分析。作者对照二十个人类数据源比较了九个模型：四个闭源模型（GPT-5.6 Sol、Claude Opus 5、Gemini 3.8 Flash、Grok 4.3）和五个开放权重模型（Mistral Small 2603、DeepSeek Flash、Qwen3.8-27B、Gemma 4 31B、Llama 4 Scout）。这些数据源包括 ANES、综合社会调查（GSS）和欧洲社会调查（ESS）等全国性调查，以及人格量表、纵向追踪样本和已发表的问卷实验。

十一项检验分属三个相互重叠的领域：

效度领域	检验项目	回答的问题
内部效度	重复问题、关联问题、改写问题、扰动问卷	合成受访者的回答是否连贯？面对措辞和顺序变化时，反应是否与人类一致？
构念效度	题项协方差、独立效标、区分构念	量表题项之间的关联、以及与外部测量的关系，是否与人类数据一致？
外部效度	答案分布、群体与个体、实验效应、潜在结构	答案频率、子群体结果、处理效应和测量模型是否与人类总体相符？

作者没有设定通用的合格线，而是建议只选取某个研究问题所需的检验来构建评分卡，并在查看结果之前事先确定可接受的误差范围。

与人类相比，合成受访者的作答有多一致？

大多数模型比人更一致，而这是效度问题，并非优点。在一个人格数据集中，人类对重复题项给出相同答案的比例约为 73%；Gemma 达到 99%，九个模型中有七个超过了人类水平。在改写过的价值观问题上，人类前后一致的比例约为 85%，而八个模型达到 100%。

不过，一致并不等于连贯。Llama 4 Scout 重复作答的一致率约为 93%，但对关联题项给出相互矛盾认同的比例约为 21%，人类约为 8%。真实的人有噪声、偶尔自相矛盾；合成受访者则要么僵硬地整齐划一，要么以另一种方式自相矛盾。

问卷实验也暴露出同样的差距。在一项逐步提高"科学共识"表述的任务中，约 48% 的人类作答序列至少出现一次信念下降，而没有任何一个模型序列出现这种情况。

合成受访者会用满整个量表吗？

不会。基准发现，在欧洲社会调查的题项上，每个模型都遗漏了人类使用过的回答类别。在一道 11 点的移民问题上，OpenAI 模型只用了 6 到 10 的位置。还有一个模型在 60 道判断题中有 28 道给出了完全相同的概率，导致无法与任何其他变量计算相关。

这很重要，因为大多数后续分析都依赖方差。如果合成样本压缩了量表，那么基于它的相关、回归和细分比较都会失真，即使平均值看起来正确。作者用两个统计对照基线说明了这一点：二者都与题项分布高度吻合，但把题项视为相互独立的那个基线严重错估了特质相关（平均绝对误差 0.170），而保留秩相关的那个基线则很接近（0.040）。

合成样本能复现实验效应吗？

部分可以，但并不稳定。在一项包含 24 个信息源对比的论证质量实验中，人类的平均效应为 0.52 个评分点；Grok 的平均绝对效应误差最小（0.23 点），Claude 最大（1.10 点）。有些对比被缩小，有些被夸大，有些甚至方向相反。一个合成样本答对了某个处理效应的方向，并不能证明它下一次也会答对。

更丰富的受访者画像能让数字孪生更准确吗？

这取决于模型以及画像的写法。作者使用一个包含 430 人的孪生数据集，为模型提供了更丰富的个人信息，包括作答历史和提炼后的文本画像。加入作答历史与提炼文本后，Gemini 的误差在两项指标上分别下降 0.047 和 0.041，Claude 下降 0.027 和 0.028；仅使用提炼画像时，OpenAI 模型和 Gemini 的改善较小，约为 0.02。Mistral 的误差略有上升，但这一上升并未得到稳健确认。实践启示是：画像格式本身就是模拟设计的一部分，必须用你计划使用的同一个模型来验证。

这对使用合成数据的研究者意味着什么

该基准把"合成数据有效吗？"变成了一个更可回答的问题：对哪种分析有效？以下是基于论文建议的实用流程：

从估计目标出发。在选择检验之前，先写下你要做的分析：总体均值、子群体差异、相关关系还是处理效应。
选择对应的检验。均值需要分布检验；回归需要协方差和构念检验；A/B 决策需要实验效应检验。
预先设定容差。在看到结果之前，先决定你能接受多大的误差。
报告失败与拒答。无效输出和未作答题项可能悄然改变你的结论所覆盖的人群。
子群体结论需要人类证据。如果某个群体没有人类基准，就明确保留这个空白，而不是相信模拟结果。

如果你在使用数字孪生样本库（Digital Twin Panel），也应同样对待：用它来探索和预测试，而任何关于人群差异的结论都要以真实回答为依据，例如向真人样本发放的 AI 问卷。

研究的局限

作者列出了几项注意事项。人类数据源是公开的，因此无法排除训练数据污染。各模型的解码设置和访问途径不同，因此结果描述的是这些具体配置，而非模型家族整体。提炼画像由 OpenAI 模型生成、由 Claude Opus 5 审核，可能对这两家提供商有利。该论文为预印本，尚未经过同行评审。

常见问题

什么是 Artificial Societies Benchmark？

它是一个由十一项检验组成的验证框架，分为内部效度、构念效度和外部效度，用于判断合成人群能否支撑某项具体分析。它按检验分别报告结果，而不是给出一个总分。

哪个语言模型生成的合成受访者最好？

没有全面胜出者。排名随检验而变化：例如，Qwen 在一个人格数据集上的分布误差最低，却在另一个数据集上自相矛盾率最高。

合成受访者能取代真人问卷样本吗？

就现有证据而言不能。它们可以近似某些平均值，但会压缩方差并扭曲特质之间的关系，从而削弱对人群差异的分析。

使用合成样本前应如何验证？

选择与计划分析相匹配的检验，对照带有不确定性区间的人类参照数据，预先设定容差，并在报告准确度的同时报告每一次失败或拒答。

最后更新：2026 年 10 月 15 日

本文是 Qualitati 研究团队对第三方研究的独立编辑摘要。Qualitati 与论文作者无隶属关系。完整方法与结果请参阅原始论文。