简短回答：由 LLM 生成的合成问卷样本，本身并无笼统的“有效”或“无效”之分。D'Ecclesiis、Castellacci 与 Ahmadi 在 2026 年的一项研究中指出，必须分别检验三种属性：预测效度（每个合成受访者是否与真实受访者一致？）、分布效度（回答的分布是否一致？）和实质效度（分析能否得出相同结论？）。哪些检验重要，取决于你打算如何使用这份样本。
最后更新：2026 年 11 月 4 日
关于合成受访者的讨论，大多被简化成一个问题：“它准不准？”论文 Validating LLM-Generated Synthetic Survey Samples: A Use-Dependent Multi-Dimensional Framework for Social-Science Applications（arXiv，2026 年 10 月）说明了这个问题为何过于粗糙。在其实证检验中，同一批合成样本在单个受访者层面表现较弱，却仍保留了研究者关心的若干群体模式和预测变量排序。下文概述该框架、关键数据，以及它对使用合成受访者或数字孪生的研究者意味着什么。
合成样本效度有哪三种类型？
该框架区分了三个验证对象，并刻意不把它们合并成一个综合分数。作者认为三者是互补关系而非层级关系：通过其中一项检验，几乎说明不了其他两项。
| 效度维度 | 回答的问题 | 诊断指标示例 | 最适用的场景 |
|---|---|---|---|
| 预测效度 | 每个合成回答是否与对应真实受访者的回答一致？ | MSE、RMSE、Pearson 相关系数 | 缺失值插补或个体层面预测 |
| 分布效度 | 合成分布与真实分布在位置、离散度和形状上是否一致？ | 均值偏差、标准差比、Kolmogorov–Smirnov 距离、Wasserstein 距离 | 需要真实异质性的研究 |
| 实质效度 | 基于合成数据的分析能否得出与真实数据相同的结果？ | 群体比较、国家间模式、预测变量排序 | 下游推断与假设工作 |
一个反直觉的要点：合成样本的方差更大并不一定更好。样本看起来“多元”，可能只是因为模型校准不当，而不是因为它再现了真实的异质性。
这项研究如何检验合成受访者？
作者以真实问卷数据作为基准，让 LLM 按每位受访者的身份作答。据 D'Ecclesiis、Castellacci 与 Ahmadi（2026）介绍，研究设计如下：
- 数据：特别欧洲晴雨表（Special Eurobarometer）554，主题为 AI 与未来工作，于 2024 年 4 月 25 日至 5 月 22 日在 EU-27 实施，限定 18–65 岁受访者（完整性筛选前共 16,835 个观测值）。
- 结果变量：三个 1–4 分制的态度指数：对 AI 的总体看法、对 AI 影响的感知，以及 AI 使用情况。分析样本中，总体指数 N = 10,935，另外两个指数 N = 12,583。
- 合成受访者：四个未经微调的现成模型（Claude Sonnet 4.6、GPT-4.1 mini、Gemini 3 Flash 和 Grok 4.1 Fast Non-Reasoning），温度设为 0.5，每个模型都获得一份依据受访者可观测特征构建、且不含任何态度题项的画像。
- 基准：在真实回答上训练、采用 10 折交叉的样本外预测的监督机器学习模型（Elastic Net、Random Forest、梯度提升和 Super Learner）。作者把它们视为参照点而非公平的竞争对手，因为它们直接从目标数据中学习。
LLM 生成的问卷回答有多准确？
在个体层面，没有任何 LLM 达到机器学习基准的水平。Random Forest 在所有结果变量上误差最低（MSE 分别为 0.246、0.272 和 0.302）。表现最好的 LLM 是 Claude，MSE 为 0.292、0.332 和 0.437；Grok 最弱（总体指数 0.627，AI 使用指数 0.895）。
分布层面的结果更为复杂。机器学习预测几乎精确地再现了均值，却压缩了离散度：在总体指数和影响指数上，标准差比约为 0.47–0.55——它们能很好地预测“平均的人”，却抹去了极端值。在 LLM 中，GPT 在总体指数上的 Wasserstein 距离最佳（0.119）。在 AI 使用指数上，所有 LLM 都出现了明显的负向均值偏差（从 Claude 的 −0.255 到 Grok 的 −0.686）。
合成样本是否仍保留了有用的模式？
部分保留了，这正是论文的核心结论。在总体指数和影响指数上，按年龄和教育程度划分的群体均值，其观测值与合成值的相关系数普遍高于 0.98。每个合成样本都保留了前十个观测预测变量中的至少七个；Claude 的预测变量排序与观测排序在三个结果变量上的相关系数分别为 0.787、0.858 和 0.717。
薄弱环节同样具有启发意义：
- 行为比态度更难模拟。在 AI 使用指数上，所有 LLM 都压缩了年龄差异（组间标准差比约为 0.52–0.61，而 Random Forest 为 0.891）。
- 国家间模式因模型而异。与观测国家均值的相关系数最高为 0.727（Gemini，总体指数），但在 AI 使用指数上，GPT 和 Grok 仅为 0.185 和 0.193。
- 主要驱动因素可能发生偏移。工作场所的 AI 接触是观测数据中 AI 使用的最强预测变量，但在 Claude 的合成数据中仅排第四。
这对使用合成受访者的研究者意味着什么？
在评判合成样本之前，先明确它的用途。作者把探索性分析、问卷开发、情景模拟和假设生成归为要求较低的一端；而替代真实受访者、再现总体异质性或得出实质性结论则处于要求较高的一端，需要在相应维度上提供证据。
落到实践中，可以归纳为一份简短清单：
- 写明预期用途（问卷预测试、探索细分群体、估计效应）。
- 选出该用途所需的效度维度，其余可以忽略。
- 在这些维度上与真实基准样本逐个结果变量进行比较，因为表现会随构念而变化。
- 使用多个温度和多个模型重复运行。
- 把合成结果作为观测数据的补充来报告，而不是替代品。
这与我们建议的 Digital Twin Panel 用法一致：把它作为快速压力测试问题、探索可能模式的工具，再通过 AI Surveys 或访谈，用真实受访者确认关键结论。
这项研究有哪些局限？
作者明确指出其证据范围较窄：一项调查、一个主题、四个模型、一种提示设计和一套指数定义。模型获得的是真实受访者画像，因此该检验并不能说明 LLM 能否从零生成具有代表性的总体。预测变量排序是预测性的，而非因果性的。各厂商的温度标度不同，且温度稳健性检验未包含 Claude。因此，模型排名应被视为仅适用于这一应用场景。
常见问题
如果合成问卷样本对个体预测很差，它还有效吗？
它仍可能有用。在这项研究中，个体层面准确度较弱的样本依然保留了若干群体差异和大部分主要预测变量，这对探索性工作或问卷设计可能已经足够。
哪个 LLM 最适合做合成问卷受访者？
没有通用的赢家。本研究中 Claude 的个体层面误差最低，GPT 在一个指数上的分布拟合最好，Gemini 在另一个指数上的国家间模式最强。作者强调，排名取决于具体应用。
合成受访者能替代真实问卷调查吗？
就现有证据而言不能。论文把 LLM 样本视为依赖验证的观测数据补充，并发现差距最大的是 AI 使用这类行为结果变量。
合成数据中的分布效度是什么？
指合成回答是否与真实回答具有相同的均值、离散度和形状，可用均值偏差、标准差比和 Wasserstein 距离等指标检验。
来源：D'Ecclesiis, E. A. R., Castellacci, F., & Ahmadi, A. (2026). Validating LLM-Generated Synthetic Survey Samples: A Use-Dependent Multi-Dimensional Framework for Social-Science Applications. arXiv:2611.00256.
最后更新：2026 年 11 月 4 日。本文是 Qualitati 研究团队对第三方研究的独立编辑摘要，与论文作者无关联，也未获其背书。