简短回答：不一定。Alexander Doudkin 于 2026 年 9 月发布的一篇预印本，把基于人口统计特征的合成问卷样本库（synthetic survey panel）与已公开的多选题调查结果进行对照，发现\"与公开平均值吻合\"主要取决于答案的引出方式。一个不使用任何人设、直接询问人群比例的提问，在 9 组对比中 9 次胜过\"直接作答\"的人设样本库。因此，边际分布上的一致并不能证明模型在模拟个体受访者。
合成问卷样本库的卖点很简单：用真实的人口统计画像构建几百个 LLM 人设，向它们提问，就能得到看起来像真实人群的答案。常见的\"证明\"是一张图：合成样本的百分比与某项公开调查高度吻合。Doudkin 的论文 Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels（arXiv，2026）追问的正是：这张图到底证明了什么？答案是：比大多数供应商和研究者以为的要少。
\n\n研究将合成样本库与真实调查结果进行比较，涉及来自三个国家、四家调查机构的六组多选题（\"可多选\"）题组。其中三组题组的合成样本与真实样本具有相同的总体框架，承担了主要结论：
\n\n另外三组题组（Ofcom 网络活动、ONS 生活成本题组，以及 CES 一道政治参与题）因总体框架与合成队列不匹配，仅用作敏感性检验。每个队列包含 500 个人设，每个人设由性别、年龄段、地区、教育程度等四个属性描述。测试模型包括 claude-sonnet-5、gpt-5.6-terra、gemini-3.7-flash、claude-haiku-4-5 和 gpt-4o-mini。
\n\n论文的核心观点是：同一个人设可以用不同方式提问，而这一选择会大幅改变测得的\"保真度\"。Doudkin 将其称为应答约定（response contract）。
\n\n| 方式 | 做法 | 与真实数据的平均误差（对齐组合） |
|---|---|---|
| 直接作答（committed set） | 每个人设像真实受访者一样，返回适用于自己的选项列表 | MAE 12.39（9 组模型-题组组合） |
| 逐项概率 | 每个人设为每个选项给出 0–100 的可能性，样本库取平均 | 按题目选择上限投影后 MAE 5.34 |
| 无人设比例询问 | 用一个中性提示直接问模型：总体中有多少比例会选择每个选项 | MAE 6.27 |
这里的 MAE 指一道题各选项的平均绝对误差（单位：百分点），越低越好。
\n\n最接近真实受访者的\"直接作答\"方式表现最差。根据 Doudkin（2026），在三组对齐题组中，直接作答的样本库让 128 个模型-题组选项位中的 66 个完全空白：即使样本库多达 500 个人设，也没有任何模拟受访者选择这些选项。逐项概率方式的空白数为 128 个中的 0 个。论文将这一现象称为支持塌缩（support collapse）。
\n\n例子很具体：在五个模型中的两个里，没有任何模拟的美国人报告去过急诊室，而真实 CES 受访者中这一比例为 22.1%。在三个模型中的两个里，没有任何模拟的德国人把移民列为首要议题，而 Eurobarometer 数据中为 23.0%。
\n\n改用逐项概率后，在全部八组无上限的模型-工具对比中，选项层面的误差降低了 4.53 至 7.30 个百分点。这看似解决了问题，对估计总体比例而言也确实部分有效。但它同时改变了样本库的性质：它变成了一组被平均的预测，而不是一组个体答案。
\n\n因为模型无需模拟任何人也能命中平均值。关键在于无人设基线。一个完全不使用人设、只询问总体比例的提示，平均 MAE 为 6.27，并在 9 组对齐比较中 9 次胜过直接作答的人设样本库。如果一个简单提问的效果与 500 人的样本库相当甚至更好，那么与公开表格的高度吻合反映的是模型对总体比例的了解，而不是它代替个体的能力。
\n\n论文在这一点上很谨慎：考虑约束的概率样本库（MAE 5.34）在部分组合上确实胜过无人设询问，所以后者并非处处最优。论文的结论更窄，也更有用。用作者的话说，边际一致\"not evidence of individual simulation\"（并非个体模拟的证据）。
\n\n另有两项结果强化了这一点。第一，在一道有上限的题目（最多选两项）上，两个模型给出的概率向量总和分别为 620 和 760，而真实人群总和为 192；直到把向量投影到上限之内，优势才恢复。第二，在三个没有公开表格的人口子群中，人设样本库和比例询问都没有胜过直接套用全国分布（MAE 7.00）。子群估计恰恰是合成样本库最常被推销的用途，而这里的证据最弱。
\n\n这项研究并没有说合成样本库毫无用处。它说的是，标准的验证方式——\"我们的百分比与公开调查一致\"——承担不起人们赋予它的分量。根据论文整理的实用清单：
\n\n对于定性研究和 UX 团队而言，这与一个更广泛的规律一致：合成受访者最站得住脚的用途，是在实地调研前对研究材料做压力测试，而不是替代你真正需要倾听的人。数字孪生样本库（Digital Twin Panel）最适合用来预试问题、发现漏洞，之后再通过真实对话收集证据本身，例如使用 AI 访谈员（AI Interviewer）。
\n\n这是一篇未经同行评审的单作者预印本。真实数据的调查方式、时间和机构各不相同，因此不同题组之间的绝对误差不可直接比较。人设只使用了四个人口统计属性，更丰富的信息基础（访谈记录、历史回答）并未被检验。训练数据污染也无法完全排除。作者还披露了其在合成样本库模拟方面的商业利益，这反而让这些批判性发现更值得重视。
\n\n它们可以逼近公开的总体比例，但根据 Doudkin（2026），一个不带人设的提示效果相差无几，而直接作答的人设让许多真实存在的选项完全无人选择。平均值准确并不表明个体被成功模拟。
\n\n指真实人群会选的某个选项，没有任何模拟受访者选择，导致样本库在该选项上的比例恰好为零。在该研究中，直接作答方式下 128 个选项位中有 66 个出现了这种塌缩。
\n\n与无人设基线对比，检查每个答案选项的覆盖情况，在没有公开基准的子群或问题上测试，并评估你打算依赖的个体层面或跨题目模式。
\n\n在无上限的题目上，它能把平均误差降低 4.53 至 7.30 个百分点，但它把样本库变成了平均化的预测。这对估计总体比例有用，却不能证明实现了个体层面的模拟。
\n\n最后更新：2026 年 10 月 22 日。本文是对第三方研究的独立编辑摘要；Qualitati 与作者无关联。完整方法与结果请参阅原始论文。
\n","related":[{"slug":"llm-as-judge-qualitative-interpretation-2026","title":"LLM 评审能给定性访谈解读打分吗？2026 年研究的检验","description":"LLM-as-judge 能否替代人工审核定性访谈解读？2026 年一项研究对比 3,560 条 AI 解读与人类评分：它能淘汰弱模型，却漏掉言外之意与细微差别。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"rehearse-interview-protocol-simulated-participants-2026","title":"能用 AI 模拟受访者预演访谈吗？2026 年研究发现","description":"能否用 AI 模拟受访者预演访谈提纲？一项 2026 年对 21 位定性研究者的研究发现，预演带来了实际的提纲修改，也暴露出三个隐藏风险。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"synthetic-participants-pilot-study-design-2026","title":"合成受访者能替你做预调研吗？2026 年研究发现","description":"合成受访者能否用于研究设计预调研？一项 2026 年研究发现，LLM 模拟受访者的推理过程比付费真人预调研或聊天机器人审阅发现了更多问卷缺陷。","category":"研究方法论","date":"2026-10-20","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}