简短回答：由 LLM 生成的合成问卷样本，本身并无笼统的“有效”或“无效”之分。D'Ecclesiis、Castellacci 与 Ahmadi 在 2026 年的一项研究中指出，必须分别检验三种属性：预测效度（每个合成受访者是否与真实受访者一致？）、分布效度（回答的分布是否一致？）和实质效度（分析能否得出相同结论？）。哪些检验重要，取决于你打算如何使用这份样本。
最后更新：2026 年 11 月 4 日
\n\n关于合成受访者的讨论，大多被简化成一个问题：“它准不准？”论文 Validating LLM-Generated Synthetic Survey Samples: A Use-Dependent Multi-Dimensional Framework for Social-Science Applications（arXiv，2026 年 10 月）说明了这个问题为何过于粗糙。在其实证检验中，同一批合成样本在单个受访者层面表现较弱，却仍保留了研究者关心的若干群体模式和预测变量排序。下文概述该框架、关键数据，以及它对使用合成受访者或数字孪生的研究者意味着什么。
\n\n该框架区分了三个验证对象，并刻意不把它们合并成一个综合分数。作者认为三者是互补关系而非层级关系：通过其中一项检验，几乎说明不了其他两项。
\n\n| 效度维度 | 回答的问题 | 诊断指标示例 | 最适用的场景 |
|---|---|---|---|
| 预测效度 | 每个合成回答是否与对应真实受访者的回答一致？ | MSE、RMSE、Pearson 相关系数 | 缺失值插补或个体层面预测 |
| 分布效度 | 合成分布与真实分布在位置、离散度和形状上是否一致？ | 均值偏差、标准差比、Kolmogorov–Smirnov 距离、Wasserstein 距离 | 需要真实异质性的研究 |
| 实质效度 | 基于合成数据的分析能否得出与真实数据相同的结果？ | 群体比较、国家间模式、预测变量排序 | 下游推断与假设工作 |
一个反直觉的要点：合成样本的方差更大并不一定更好。样本看起来“多元”，可能只是因为模型校准不当，而不是因为它再现了真实的异质性。
\n\n作者以真实问卷数据作为基准，让 LLM 按每位受访者的身份作答。据 D'Ecclesiis、Castellacci 与 Ahmadi（2026）介绍，研究设计如下：
\n\n在个体层面，没有任何 LLM 达到机器学习基准的水平。Random Forest 在所有结果变量上误差最低（MSE 分别为 0.246、0.272 和 0.302）。表现最好的 LLM 是 Claude，MSE 为 0.292、0.332 和 0.437；Grok 最弱（总体指数 0.627，AI 使用指数 0.895）。
\n\n分布层面的结果更为复杂。机器学习预测几乎精确地再现了均值，却压缩了离散度：在总体指数和影响指数上，标准差比约为 0.47–0.55——它们能很好地预测“平均的人”，却抹去了极端值。在 LLM 中，GPT 在总体指数上的 Wasserstein 距离最佳（0.119）。在 AI 使用指数上，所有 LLM 都出现了明显的负向均值偏差（从 Claude 的 −0.255 到 Grok 的 −0.686）。
\n\n部分保留了，这正是论文的核心结论。在总体指数和影响指数上，按年龄和教育程度划分的群体均值，其观测值与合成值的相关系数普遍高于 0.98。每个合成样本都保留了前十个观测预测变量中的至少七个；Claude 的预测变量排序与观测排序在三个结果变量上的相关系数分别为 0.787、0.858 和 0.717。
\n\n薄弱环节同样具有启发意义：
\n\n在评判合成样本之前，先明确它的用途。作者把探索性分析、问卷开发、情景模拟和假设生成归为要求较低的一端；而替代真实受访者、再现总体异质性或得出实质性结论则处于要求较高的一端，需要在相应维度上提供证据。
\n\n落到实践中，可以归纳为一份简短清单：
\n\n这与我们建议的 Digital Twin Panel 用法一致：把它作为快速压力测试问题、探索可能模式的工具，再通过 AI Surveys 或访谈，用真实受访者确认关键结论。
\n\n作者明确指出其证据范围较窄：一项调查、一个主题、四个模型、一种提示设计和一套指数定义。模型获得的是真实受访者画像，因此该检验并不能说明 LLM 能否从零生成具有代表性的总体。预测变量排序是预测性的，而非因果性的。各厂商的温度标度不同，且温度稳健性检验未包含 Claude。因此，模型排名应被视为仅适用于这一应用场景。
\n\n它仍可能有用。在这项研究中，个体层面准确度较弱的样本依然保留了若干群体差异和大部分主要预测变量，这对探索性工作或问卷设计可能已经足够。
\n\n没有通用的赢家。本研究中 Claude 的个体层面误差最低，GPT 在一个指数上的分布拟合最好，Gemini 在另一个指数上的国家间模式最强。作者强调，排名取决于具体应用。
\n\n就现有证据而言不能。论文把 LLM 样本视为依赖验证的观测数据补充，并发现差距最大的是 AI 使用这类行为结果变量。
\n\n指合成回答是否与真实回答具有相同的均值、离散度和形状，可用均值偏差、标准差比和 Wasserstein 距离等指标检验。
\n\n来源：D'Ecclesiis, E. A. R., Castellacci, F., & Ahmadi, A. (2026). Validating LLM-Generated Synthetic Survey Samples: A Use-Dependent Multi-Dimensional Framework for Social-Science Applications. arXiv:2611.00256.
\n\n最后更新：2026 年 11 月 4 日。本文是 Qualitati 研究团队对第三方研究的独立编辑摘要，与论文作者无关联，也未获其背书。
\n","related":[{"slug":"quantized-local-llm-qualitative-coding-2026","title":"量化本地 LLM 能做定性编码吗？2026 年 82 份访谈测试","description":"量化后的本地 LLM 能做定性编码吗？2026 年一项研究在 82 份访谈上测试 8 位至 2 位的 LLaMA-3.1，发现多轮提示验证可显著降低幻觉，4 位模型由此接近全精度表现。","category":"研究方法论","date":"2026-11-03","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"theoretical-sampling-grounded-theory-2026","title":"扎根理论中的理论抽样：步骤与示例","description":"扎根理论中的理论抽样是什么?本文讲解其定义、与目的抽样的区别、六个步骤、一个完整示例,并附决策日志模板。","category":"研究方法论","date":"2026-11-02","readTime":"10 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-survey-respondents-semantic-baselines-2026","title":"LLM 合成受访者能胜过简单语义基线吗？2026 年问卷补全研究","description":"LLM 作为问卷受访者能否胜过简单的语义相似度基线？2026 年一项研究用三个 LLM 测试两份问卷，发现只知道 20% 答案时，其优势便消失了。","category":"研究方法论","date":"2026-11-02","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}