简短回答：合成人群只对它经过检验的那类分析有效。2026 年 9 月发布的一项基准研究，让九个语言模型对照二十个人类数据源完成了十一项效度检验。结果发现，模型往往能复现平均答案，但作答过于一致、压缩了量表区间，并扭曲了特质之间的关系。应当针对你计划进行的具体分析做验证，而不是依赖一个总分。
合成受访者是被要求以特定人群身份回答问卷的语言模型智能体。市场研究者、用户体验团队和社会科学家越来越多地用它们来预测试问卷、筛选概念，或补充难以接触的样本。悬而未决的问题是：如何判断某个合成样本是否足以胜任某项具体任务？Edoardo Chidichimo、Min Jun Jung、Felix P. S. Wallis 和 James K. He 的新预印本 \"Artificial Societies Benchmark: A Validation Framework for Synthetic Research\"（arXiv，2026）给出了一个结构化的答案：一组按效度类型分组的检验。
\n\n该基准检验合成人群能否支撑研究者计划进行的具体分析。作者对照二十个人类数据源比较了九个模型：四个闭源模型（GPT-5.6 Sol、Claude Opus 5、Gemini 3.8 Flash、Grok 4.3）和五个开放权重模型（Mistral Small 2603、DeepSeek Flash、Qwen3.8-27B、Gemma 4 31B、Llama 4 Scout）。这些数据源包括 ANES、综合社会调查（GSS）和欧洲社会调查（ESS）等全国性调查，以及人格量表、纵向追踪样本和已发表的问卷实验。
\n十一项检验分属三个相互重叠的领域：
\n\n| 效度领域 | 检验项目 | 回答的问题 |
|---|---|---|
| 内部效度 | 重复问题、关联问题、改写问题、扰动问卷 | 合成受访者的回答是否连贯？面对措辞和顺序变化时，反应是否与人类一致？ |
| 构念效度 | 题项协方差、独立效标、区分构念 | 量表题项之间的关联、以及与外部测量的关系，是否与人类数据一致？ |
| 外部效度 | 答案分布、群体与个体、实验效应、潜在结构 | 答案频率、子群体结果、处理效应和测量模型是否与人类总体相符？ |
作者没有设定通用的合格线，而是建议只选取某个研究问题所需的检验来构建评分卡，并在查看结果之前事先确定可接受的误差范围。
\n\n大多数模型比人更一致，而这是效度问题，并非优点。在一个人格数据集中，人类对重复题项给出相同答案的比例约为 73%；Gemma 达到 99%，九个模型中有七个超过了人类水平。在改写过的价值观问题上，人类前后一致的比例约为 85%，而八个模型达到 100%。
\n不过，一致并不等于连贯。Llama 4 Scout 重复作答的一致率约为 93%，但对关联题项给出相互矛盾认同的比例约为 21%，人类约为 8%。真实的人有噪声、偶尔自相矛盾；合成受访者则要么僵硬地整齐划一，要么以另一种方式自相矛盾。
\n问卷实验也暴露出同样的差距。在一项逐步提高\"科学共识\"表述的任务中，约 48% 的人类作答序列至少出现一次信念下降，而没有任何一个模型序列出现这种情况。
\n\n不会。基准发现，在欧洲社会调查的题项上，每个模型都遗漏了人类使用过的回答类别。在一道 11 点的移民问题上，OpenAI 模型只用了 6 到 10 的位置。还有一个模型在 60 道判断题中有 28 道给出了完全相同的概率，导致无法与任何其他变量计算相关。
\n这很重要，因为大多数后续分析都依赖方差。如果合成样本压缩了量表，那么基于它的相关、回归和细分比较都会失真，即使平均值看起来正确。作者用两个统计对照基线说明了这一点：二者都与题项分布高度吻合，但把题项视为相互独立的那个基线严重错估了特质相关（平均绝对误差 0.170），而保留秩相关的那个基线则很接近（0.040）。
\n\n部分可以，但并不稳定。在一项包含 24 个信息源对比的论证质量实验中，人类的平均效应为 0.52 个评分点；Grok 的平均绝对效应误差最小（0.23 点），Claude 最大（1.10 点）。有些对比被缩小，有些被夸大，有些甚至方向相反。一个合成样本答对了某个处理效应的方向，并不能证明它下一次也会答对。
\n\n这取决于模型以及画像的写法。作者使用一个包含 430 人的孪生数据集，为模型提供了更丰富的个人信息，包括作答历史和提炼后的文本画像。加入作答历史与提炼文本后，Gemini 的误差在两项指标上分别下降 0.047 和 0.041，Claude 下降 0.027 和 0.028；仅使用提炼画像时，OpenAI 模型和 Gemini 的改善较小，约为 0.02。Mistral 的误差略有上升，但这一上升并未得到稳健确认。实践启示是：画像格式本身就是模拟设计的一部分，必须用你计划使用的同一个模型来验证。
\n\n该基准把\"合成数据有效吗？\"变成了一个更可回答的问题：对哪种分析有效？以下是基于论文建议的实用流程：
\n如果你在使用数字孪生样本库（Digital Twin Panel），也应同样对待：用它来探索和预测试，而任何关于人群差异的结论都要以真实回答为依据，例如向真人样本发放的 AI 问卷。
\n\n作者列出了几项注意事项。人类数据源是公开的，因此无法排除训练数据污染。各模型的解码设置和访问途径不同，因此结果描述的是这些具体配置，而非模型家族整体。提炼画像由 OpenAI 模型生成、由 Claude Opus 5 审核，可能对这两家提供商有利。该论文为预印本，尚未经过同行评审。
\n\n它是一个由十一项检验组成的验证框架，分为内部效度、构念效度和外部效度，用于判断合成人群能否支撑某项具体分析。它按检验分别报告结果，而不是给出一个总分。
\n没有全面胜出者。排名随检验而变化：例如，Qwen 在一个人格数据集上的分布误差最低，却在另一个数据集上自相矛盾率最高。
\n就现有证据而言不能。它们可以近似某些平均值，但会压缩方差并扭曲特质之间的关系，从而削弱对人群差异的分析。
\n选择与计划分析相匹配的检验，对照带有不确定性区间的人类参照数据，预先设定容差，并在报告准确度的同时报告每一次失败或拒答。
\n\n最后更新：2026 年 10 月 15 日
\n本文是 Qualitati 研究团队对第三方研究的独立编辑摘要。Qualitati 与论文作者无隶属关系。完整方法与结果请参阅原始论文。
\n","related":[{"slug":"synthetic-consumers-visual-marketing-pretest-2026","title":"合成消费者能预测试 logo 和广告吗？2026 研究结果","description":"合成消费者能否预测试视觉营销？2026 年研究发现，GPT 智能体能正确识别 logo 特征，但六项人类效应最多只复现 2 项，还有 1 项结论相反。","category":"AI 用户研究","date":"2026-10-14","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"interview-informed-llm-survey-responses-2026","title":"LLM 能用访谈记录预测问卷答案吗？2026 年一项研究的检验","description":"基于访谈的 LLM 能预测问卷答案吗？2026 年一项研究用 19 名真实受访者检验了 GPT、Claude 和 Gemini：哪些结论站得住，哪些失效了。","category":"AI 用户研究","date":"2026-10-12","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"expertise-adaptive-ai-interviewer-local-llm-2026","title":"AI 访谈员能按受访者专业水平调整提问吗？2026 年研究发现","description":"AI 访谈员能否根据每位受访者的专业水平调整提问？2026 年一项基于本地 LLM、涵盖 246 场访谈的研究发现，水平判断一致率为 78.9%，kappa 为 0.80。","category":"AI 用户研究","date":"2026-10-09","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}