AI 合成受访者为何高估人们的喜好（2026）
Qualitati 研究团队 · 2026-08-19 · 6 分钟阅读
由 LLM 生成的合成受访者所"喜欢"的事物数量，几乎是真实人群的两倍；而且这些偏好之间的关联结构，与人类几乎毫无相似之处。一项 2026 年基于 277,470 条合成回答的研究发现，硅基样本只能复现粗略的总体均值，却丢失了研究者真正要分析的几乎全部结构。
这项研究测试了什么？
研究要问的是：LLM "替身"能否在文化品味议题上代替真实的问卷受访者。Ma、Zhang、Ang 与 Chen（2026）在 Not-quite-human tastes: the stylized omnivorousness of LLM survey surrogates 中，选用美国艺术参与公众调查（SPPA，覆盖 1982–2022 年的长期追踪调查），并以其 9,249 名真实受访者作为基准真值。
研究者为每一位真实受访者，按其人口统计画像生成 30 条合成回答，最终得到 277,470 条硅基回答，覆盖三个模型：GPT-4.0、Claude 3.7 Sonnet 与 DeepSeek R1。每个替身都被问及在 17 种音乐类型中喜欢哪些。由于人类基准来自结构已知的概率样本，比较得以在三个层次上分别展开：人们喜欢多少、什么与什么同时出现、以及谁喜欢什么。
合成受访者的准确度如何？
准确度完全取决于你看哪一个层次。在最粗的层次——被喜欢的类型占比上，硅基样本大致落在正确区间，但系统性地过于热情。据 Ma 等人（2026），真实 SPPA 受访者表示喜欢 17 种类型中的 24.18%，而合成样本的这一比例为 45.89%（OpenAI）、46.14%（DeepSeek）和 39.77%（Anthropic）。
这大约是人类比例的两倍，而且在小众类型上差距更大：在非流行类型上，OpenAI 替身比人类的 26.52% 高出 32.29 个百分点。作者将其描述为对"喜欢"的系统性正向偏差，从而高估了文化杂食性——并指出这不能简单归因于常见的 WEIRD（西方、受教育、工业化、富裕、民主）抽样偏差。
三个层次的失败
| 分析层次 | 人类基准 | 硅基结果 | 结论 |
|---|
| 边际比例（人们喜欢多少） | 喜欢 24.18% 的类型 | 39.77%–46.14% | 方向可信，但严重虚高 |
| 关联结构（什么与什么同现） | 自助法基准接近 r = 1.00 | Pearson's r = 0.06 | 基本没有对应关系 |
| 人口统计关联（谁喜欢什么） | SPPA 观测效应 | 效应被放大甚至反号 | 子群分析会被严重误导 |
为什么"关联结构"这一结果最关键？
关联结构上的发现，足以让一个合成样本库项目就此停下。品味很少孤立地起作用；研究者关心的是哪些偏好会一起出现，因为正是这种共现结构支撑了细分、人物画像与类型学。
硅基与人类品味关联之间的相关系数为 0.06，而自助法基准接近 1.00——也就是说，把人类样本随机对半拆分几乎能完美复现该结构，而 LLM 版本则完全复现不出来。具体配对不只是变得更嘈杂，而是被重新洗牌：布鲁斯与经典摇滚的关联从 0.40 降至 0.04，而电子乐与福音音乐的关联则从 0.06 升至 0.57。模型并非找不到结构，而是发明了另一套结构。
人口统计模式还成立吗？
并不成立——而且它在两个方向上同时出错，这比一致偏移更糟。作者报告：17 种类型中有 14 种的年龄效应偏负；雷鬼上的种族效应为 −0.365，约为真实关联的九倍；百老汇上的性别效应为 +0.453，而人类数值仅为 +0.107。
实际后果是：任何按年龄、性别、阶层或种族对合成样本做交叉分析的做法，读到的都是被放大或被反转的效应。合成样本可能告诉你某个细分群体确实存在，其效应量足以通过常规显著性门槛，而人类数据其实并不支持。
这对研究者意味着什么
把合成受访者当作产生假设、压力测试问卷工具的手段，而不是用来产出你会对外报告或据以决策的估计值。这项研究可以推出四条工作准则：
- 绝不照单全收边际比例。翻倍的喜欢率会扭曲任何基于它的市场规模或发生率估计。
- 不要在合成数据上做细分。共现结构是本研究中最薄弱的层次，而细分正是直接建立在它之上。
- 不要报告来自合成样本的子群差异。人口统计效应会被放大，有时甚至反号。
- 在依赖任何结论之前，先用真实样本验证。本研究的设计——以真实调查为基准真值、按画像生成合成回答——任何团队都可以小规模复用。
在这些证据下仍然站得住脚的高价值用法，都发生在正式实地调查之前：试测题目措辞、检查筛选逻辑是否正常、在面对真实受访者之前先演练访谈提纲。我们也是这样定位自己的 Digital Twin Panel 的——它是一个排练场，而不是实地调查的替代品。当你需要真实了解人们相信什么以及为什么相信时，答案仍然只能来自真人，因此更稳妥的路径是用 AI Interviewer 对真实受访者做研究，再分析他们实际说了什么。
还要注意适用范围：本研究考察的是文化品味，这是一个偏好高度社会化、带有地位意涵的领域。LLM 替身在事实性或行为性题目上表现是否更好，是本研究未回答的开放问题——但举证责任现在落在声称"表现更好"的一方。
常见问题
AI 生成的问卷受访者能取代真人样本吗？
用于估计时不能。2026 年这项 SPPA 研究发现，合成受访者的喜欢率大约翻倍（人类 24.18% 对合成 39.77%–46.14%），且几乎完全无法复现偏好之间的相关结构（r = 0.06）。
研究测试了哪些模型？
GPT-4.0、Claude 3.7 Sonnet 与 DeepSeek R1。三者都表现出正向的"喜欢"偏差，因此这并非某一家厂商的特例。
什么是硅基抽样（silicon sampling）？
硅基抽样是指给 LLM 一份人口统计画像，让它以该人物的身份回答问卷题目，从而生成合成受访者。本研究为每位真实受访者生成了 30 个替身。
合成受访者还有合理的研究用途吗？
有——预测试问卷、检查问卷逻辑与筛选题，以及生成之后用真人验证的假设。这里被记录下来的失败，在于把合成产出当作关于某一总体的证据。
来源：Ma, X., Zhang, M., Ang, S., & Chen, M. (2026). Not-quite-human tastes: the stylized omnivorousness of LLM survey surrogates. arXiv:2606.30085.
最后更新：2026 年 8 月 19 日。本文是对第三方研究的独立编辑性摘要；QualiTaTi 与该研究作者无隶属关系。