简短回答：不一定。Alexander Doudkin 于 2026 年 9 月发布的一篇预印本，把基于人口统计特征的合成问卷样本库（synthetic survey panel）与已公开的多选题调查结果进行对照，发现"与公开平均值吻合"主要取决于答案的引出方式。一个不使用任何人设、直接询问人群比例的提问，在 9 组对比中 9 次胜过"直接作答"的人设样本库。因此，边际分布上的一致并不能证明模型在模拟个体受访者。
合成问卷样本库的卖点很简单：用真实的人口统计画像构建几百个 LLM 人设，向它们提问，就能得到看起来像真实人群的答案。常见的"证明"是一张图：合成样本的百分比与某项公开调查高度吻合。Doudkin 的论文 Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels（arXiv，2026）追问的正是：这张图到底证明了什么？答案是：比大多数供应商和研究者以为的要少。
这项研究检验了什么？
研究将合成样本库与真实调查结果进行比较，涉及来自三个国家、四家调查机构的六组多选题（"可多选"）题组。其中三组题组的合成样本与真实样本具有相同的总体框架，承担了主要结论：
- CES 2024 媒体使用（美国，5 个选项）
- CES 2024 生活事件（美国，13 个选项）
- Eurobarometer 103 最重要议题（德国，16 个选项，最多选两项）
另外三组题组（Ofcom 网络活动、ONS 生活成本题组，以及 CES 一道政治参与题）因总体框架与合成队列不匹配，仅用作敏感性检验。每个队列包含 500 个人设，每个人设由性别、年龄段、地区、教育程度等四个属性描述。测试模型包括 claude-sonnet-5、gpt-5.6-terra、gemini-3.7-flash、claude-haiku-4-5 和 gpt-4o-mini。
向合成样本库提同一个问题的三种方式
论文的核心观点是：同一个人设可以用不同方式提问，而这一选择会大幅改变测得的"保真度"。Doudkin 将其称为应答约定（response contract）。
| 方式 | 做法 | 与真实数据的平均误差（对齐组合） |
|---|---|---|
| 直接作答（committed set） | 每个人设像真实受访者一样，返回适用于自己的选项列表 | MAE 12.39（9 组模型-题组组合） |
| 逐项概率 | 每个人设为每个选项给出 0–100 的可能性，样本库取平均 | 按题目选择上限投影后 MAE 5.34 |
| 无人设比例询问 | 用一个中性提示直接问模型：总体中有多少比例会选择每个选项 | MAE 6.27 |
这里的 MAE 指一道题各选项的平均绝对误差（单位：百分点），越低越好。
合成问卷样本库有多准确？
最接近真实受访者的"直接作答"方式表现最差。根据 Doudkin（2026），在三组对齐题组中，直接作答的样本库让 128 个模型-题组选项位中的 66 个完全空白：即使样本库多达 500 个人设，也没有任何模拟受访者选择这些选项。逐项概率方式的空白数为 128 个中的 0 个。论文将这一现象称为支持塌缩（support collapse）。
例子很具体：在五个模型中的两个里，没有任何模拟的美国人报告去过急诊室，而真实 CES 受访者中这一比例为 22.1%。在三个模型中的两个里，没有任何模拟的德国人把移民列为首要议题，而 Eurobarometer 数据中为 23.0%。
改用逐项概率后，在全部八组无上限的模型-工具对比中，选项层面的误差降低了 4.53 至 7.30 个百分点。这看似解决了问题，对估计总体比例而言也确实部分有效。但它同时改变了样本库的性质：它变成了一组被平均的预测，而不是一组个体答案。
为什么与公开平均值吻合不能证明模拟成功？
因为模型无需模拟任何人也能命中平均值。关键在于无人设基线。一个完全不使用人设、只询问总体比例的提示，平均 MAE 为 6.27，并在 9 组对齐比较中 9 次胜过直接作答的人设样本库。如果一个简单提问的效果与 500 人的样本库相当甚至更好，那么与公开表格的高度吻合反映的是模型对总体比例的了解，而不是它代替个体的能力。
论文在这一点上很谨慎：考虑约束的概率样本库（MAE 5.34）在部分组合上确实胜过无人设询问，所以后者并非处处最优。论文的结论更窄，也更有用。用作者的话说，边际一致"not evidence of individual simulation"（并非个体模拟的证据）。
另有两项结果强化了这一点。第一，在一道有上限的题目（最多选两项）上，两个模型给出的概率向量总和分别为 620 和 760，而真实人群总和为 192；直到把向量投影到上限之内，优势才恢复。第二，在三个没有公开表格的人口子群中，人设样本库和比例询问都没有胜过直接套用全国分布（MAE 7.00）。子群估计恰恰是合成样本库最常被推销的用途，而这里的证据最弱。
这对使用合成受访者的研究者意味着什么
这项研究并没有说合成样本库毫无用处。它说的是，标准的验证方式——"我们的百分比与公开调查一致"——承担不起人们赋予它的分量。根据论文整理的实用清单：
- 先数空白选项，再算误差。如果许多选项从未被选中，无论平均误差多小，样本库都没有呈现真实的答案分布。
- 始终运行无人设基线。直接向模型询问总体比例。如果结果与样本库相当，说明人设并未提供额外证据。
- 在没有公开表格的目标上验证。模型不可能记住的问题或子群才是更公平的检验。
- 尊重题目约束。对有上限的题或多选题，检查隐含的总和与选择数量是否合理。
- 评估你声称要模拟的东西。如果你要用样本库分析个体层面或跨题目的模式，就检验这些模式，而不仅仅是单题平均值。
对于定性研究和 UX 团队而言，这与一个更广泛的规律一致：合成受访者最站得住脚的用途，是在实地调研前对研究材料做压力测试，而不是替代你真正需要倾听的人。数字孪生样本库（Digital Twin Panel）最适合用来预试问题、发现漏洞，之后再通过真实对话收集证据本身，例如使用 AI 访谈员（AI Interviewer）。
值得注意的局限
这是一篇未经同行评审的单作者预印本。真实数据的调查方式、时间和机构各不相同，因此不同题组之间的绝对误差不可直接比较。人设只使用了四个人口统计属性，更丰富的信息基础（访谈记录、历史回答）并未被检验。训练数据污染也无法完全排除。作者还披露了其在合成样本库模拟方面的商业利益，这反而让这些批判性发现更值得重视。
常见问题
合成问卷样本库准确吗？
它们可以逼近公开的总体比例，但根据 Doudkin（2026），一个不带人设的提示效果相差无几，而直接作答的人设让许多真实存在的选项完全无人选择。平均值准确并不表明个体被成功模拟。
合成受访者中的"支持塌缩"是什么？
指真实人群会选的某个选项，没有任何模拟受访者选择，导致样本库在该选项上的比例恰好为零。在该研究中，直接作答方式下 128 个选项位中有 66 个出现了这种塌缩。
应该如何验证合成样本库？
与无人设基线对比，检查每个答案选项的覆盖情况，在没有公开基准的子群或问题上测试，并评估你打算依赖的个体层面或跨题目模式。
概率式作答能解决问题吗？
在无上限的题目上，它能把平均误差降低 4.53 至 7.30 个百分点，但它把样本库变成了平均化的预测。这对估计总体比例有用，却不能证明实现了个体层面的模拟。
最后更新：2026 年 10 月 22 日。本文是对第三方研究的独立编辑摘要；Qualitati 与作者无关联。完整方法与结果请参阅原始论文。