批量生成合成受访者会夸大相关性：2026 年研究
Qualitati 研究团队 · 2026-10-13 · 7 分钟阅读
简短回答：会。如果让 LLM 在一次请求中生成多名合成问卷受访者，前面的回答会渗入后面的回答。伦敦政治经济学院（LSE）2026 年的一篇预印本发现，把每次请求生成的受访者从 1 名改为 10 名，Qwen 的相关性误差上升 48–58%，Llama 上升 114–127%，主要原因是夸大了变量之间的关联强度。
评估合成受访者时，人们通常只看每个变量的回答分布是否像真人：信任议会的比例对不对、收入分布是否合理。变量之间的关系却很少被检验，而大多数分析恰恰依赖这些关系。伦敦政治经济学院 Thomas S. Robinson 的一篇新预印本，单独拆出了一个常被忽视、却会改变这些关系的设计选择：在一次 LLM 生成中放入多少名合成受访者。
什么是“共享生成批处理”？
共享生成批处理（shared-completion batching）是指让模型在一次生成的回复中替多个人作答。它比每人调用一次更便宜、更快，应用研究中也确实这样做：Robinson 引用的研究每次生成 30 到 50 名受访者，还有一项定性访谈模拟研究一次请求 4 个人的回答。问题在于语言模型是逐个 token 生成的。等它替第 10 个人作答时，前 9 个人的回答已经在上下文窗口里了。如果生成器本应在给定画像的条件下独立抽样每个人，那么把同一批画像拆分到不同请求中，结果不应改变。Robinson 把这一性质称为“请求划分不变性”（request-partition invariance），并证明当前模型并不具备它。
这项研究检验了什么？
主实验中，除请求规模外其他条件全部保持不变。根据 Robinson（2026），实验设置如下：
- 画像：2,000 名真实的欧洲社会调查（ESS）受访者，来自 20 个国家、每国 100 人，每人由 10 项背景特征描述。
- 结果变量：19 个数值型回答，涵盖信任、政治态度、幸福感、收入、年龄和访谈年份。
- 提示词：每个目标画像，加上 3 个将他人画像与其真实回答配对的示例。
- 模型：Qwen3.8-27B 与 Llama-3.3-70B-Instruct，各用 3 个随机种子，温度为 1。
- 实验操纵：同一批目标，或每次请求生成 1 人，或每次请求生成 10 人。
- 指标：各国内部合成数据与真人数据相关系数之间的平均绝对误差（MAE），另外分别衡量单变量分布和回归估计。
另外两个数据集把检验扩展到美国健康数据（NHANES 2017–2018）以及收入与就业数据（ACS 2022，马萨诸塞州在职成年人），各 800 人。
批处理会让合成数据失真到什么程度？
失真明显，而且每一次运行都出现。在匹配画像上，从每次 1 人改为每次 10 人后，Qwen 的相关性 MAE 从 0.183 升至 0.278，Llama 从 0.187 升至 0.415。在每次 Qwen 运行中，171 个变量对里有 155–159 个误差上升；Llama 则为 148–154 个。
| 指标（ESS 实验） | 真人参照 | Qwen：每次 1 人 vs 10 人 | Llama：每次 1 人 vs 10 人 |
|---|
| 相关性误差（MAE） | — | 0.183 → 0.278 | 0.187 → 0.415 |
| 各种子下的相对增幅 | — | +48–58% | +114–127% |
| 平均相关强度（mean |r|） | 0.193 | 0.360 → 0.459 | 0.355 → 0.596 |
| 与真人排序的秩一致性（批处理） | — | 0.864 | 0.866 |
来源：Robinson（2026），arXiv:2609.32546，第 3.1 节。
这张表还有一个容易被忽略的信息：即使逐个生成，合成数据的平均相关强度也约为 0.36，几乎是真人 0.193 的两倍。批处理是在一个本就高估关系的倾向上，又加重了它。
错的是模式，还是只是强度？
主要是强度。批处理后的相关系数仍大致按真人顺序排列变量对，Spearman 一致性为 0.864 和 0.866。当 Robinson 用一个最优乘数统一缩放每组相关系数时（这一诊断用到了真人答案，并非可直接使用的修正方法），每次 1 人与每次 10 人的误差都降到约 0.10。合成数据知道哪些变量相关，批处理让它对相关程度过于笃定。
降低温度或改进提示词能解决吗？
不能。在温度 0.5 下、删除“保留真实的个体差异”这一指令后，以及在受约束的结构化输出下，这一惩罚依然存在：ESS 误差在 Qwen 上仍上升 51%，在 Llama 上上升 122%；NHANES 误差分别上升 56% 和 54%。
为什么前面的回答会改变后面的回答？
因为模型会读到它们。Robinson 做了一项受控实验：给模型 9 名已完成作答的受访者，只让它生成第 10 名；回答数值保持不变，只重新配对，使这 9 人呈现正相关、负相关或零相关。在 Qwen 与 NHANES 的组合中，新生成的第 10 名受访者之间 BMI 与久坐时间的相关系数，仅因前面数值配对方式的不同，就从 0.963 摆动到 −0.670。Qwen 在 ESS 信任题上从 0.985 变为 −0.647，Llama 在两个领域中也朝同一方向变化。各条件下提供的画像和数值分布完全相同，这说明作答历史是一条因果通道。
对模型隐藏前面的回答后，所有测试设置中的相关性误差都下降了，例如在 Qwen 与 NHANES 中、目标排在第 10 位时，误差从 0.367 降至 0.197。即使前面只有 1 名受访者，这一改善也会出现，说明模型无需推断出完整的相关矩阵就会受到影响。
每次请求只生成 1 人一定更好吗？
并非对所有统计量都如此，这也是这篇论文最有用的提醒。在全部 6 个模型与数据集组合中，批处理输出的单变量分布都优于逐个生成。隐藏历史改善了相关性，但在 Qwen 与 NHANES 中使边际误差上升 8–11%。探索性的事后修正通过收缩相关系数，在 6 个设置中都降低了相关性误差，却在每个设置中都恶化了边际准确度；而且单一收缩乘数就实现了完整逐对修正 93–101% 的改进幅度。在 NHANES 中，修正后的数据仍不如直接把所有变量对的相关系数预测为零来得准确。回归系数在一些设置中改善，在另一些设置中变差。一个合成样本可能在某项检验上看起来更好，却在你的分析真正依赖的那一项上更差。
这对使用合成受访者的研究者意味着什么
- 把请求构造视为方法的一部分。除了模型、提示词和温度，还要报告多少名合成受访者共享一次生成，以及他们能否看到彼此的回答。
- 验证你要分析的那个量。如果要做相关或回归分析，仅仅比例对得上是不够的，应将变量关系和回归系数与真人基准进行比较。
- 不要依赖单一修正方法。在这项研究中，逐个生成、隐藏历史和收缩修正，都是以一种准确度换取另一种准确度。
- 决策时保留人的参与。合成样本最站得住脚的用途，是在正式调查前起草和预测试问卷，而不是取代正式调查。
如果你在使用合成样本，Qualitati 的 Digital Twin Panel（数字孪生样本库）可以让你把模拟回答与通过 AI Surveys（AI 问卷）收集的真实样本进行比较，而不是只依赖合成输出。
需要注意的局限
这是一篇发布在 arXiv 上的单作者预印本，尚未经过同行评审。研究涵盖两个开源权重模型家族和一种基本提示设计，主要在温度 1 下进行。ACS 收入数据的证据较弱，因为其中每次 10 人的条件未通过作者设定的有效性门槛。修正实验被明确标注为探索性，研究也没有找到一种普遍适用、成本更低的生成方法。
常见问题
合成问卷受访者应该逐个生成吗？
如果变量之间的关系对你的分析很重要，在这项研究中，每名受访者单独请求可以避免批处理带来的惩罚。但它并没有让单变量分布更好，因此两者都需要验证。
为什么合成受访者的相关性比真人更强？
在这项研究中，即使是逐个生成的合成受访者，平均相关强度也接近 0.36，而真人为 0.193。批处理之所以进一步推高这一数值，是因为模型会以它已经替前面受访者写下的回答为条件。
这会影响 AI 模拟访谈和焦点小组吗？
实验只使用了数值型问卷回答。当多名模拟受访者共享同一个提示时，“后面的输出以同一上下文中前面的输出为条件”这一机制同样适用，但论文没有测量定性输出。
测试了哪些模型？
Qwen3.8-27B 和 Llama-3.3-70B-Instruct。两者的效应大小不同，在主实验中 Llama 的效应大约是 Qwen 的两倍。
来源：Robinson, T. S. (2026). Shared Autoregressive Context Can Distort Relationships in Synthetic Data. arXiv preprint arXiv:2609.32546. 阅读原文。
最后更新：2026 年 10 月 13 日。本文是对第三方研究的独立编辑摘要；Qualitati 与作者无任何关联。