合成受访者何时失灵：2026 年跨领域基准研究

Qualitati 研究团队 · 2026-08-11 · 7 分钟阅读

合成受访者（synthetic users）指的是：给 LLM 输入一份人口统计画像，让它像真人一样回答问题。2026 年 7 月的一项跨领域基准研究用真实问卷数据测试了四个模型，发现两类到处重复出现的失败：在个体层面，没有任何模型能胜过一个简单的统计基线；而且所有模型都把人口统计特征当成了远比现实中更强的态度预测因子。

这项研究测了什么？

研究把同一套协议，跑在两批相互独立的真实人类作答数据上。根据 Chen、Zhu 和 Zheng（2026）的报告，该基准对四个 LLM 使用了统一的问卷模拟协议——这四个模型横跨两个模型家族，能力区间从 8B 一直到前沿模型——并以美国综合社会调查（General Social Survey）中的社会态度数据、以及世界价值观调查（World Values Survey）中的跨文化价值观数据作为评测对象。

关键的设计选择在于对照组。研究没有去问 LLM "看起来是否合理"，而是把每个模型都拿去和一组在留出（held-out）真人数据上拟合的非 LLM 基线做对比——也就是仅凭人口统计变量预测某个人作答的普通统计模型。这就把一个含糊的问题（"合成受访者好不好用？"）变成了一个可证伪的问题：LLM 到底提供了回归模型给不了的东西吗？

那两类失败是什么？

两类失败在两个领域、四个模型、两个模型家族上都复现了。

失败类型	论文的报告内容	为什么重要
个体层面毫无优势	没有任何 LLM 能胜过最强的非 LLM 基线；在跨文化价值观数据上，每个模型都明显低于该基线。改用距离敏感的评分和恰当评分规则后，这一差距依然存在。	如果你需要知道这个具体的人会怎么回答，模型并没有带来任何额外信息。
人口统计特征被过度决定	模型系统性地把身份标签当成远比真人现实中更强的态度预测因子——这一现象几乎出现在所有"问题×群体"组合上，且在换用编码不变（coding-invariant）的度量后依然稳健。	合成受访者表现得像刻板印象：群体内部过于一致，群体之间差异过大。

对研究者而言，第二个发现后果更严重，因为它是一种有方向的系统偏差，而不是噪声。真实人类的态度只被年龄、性别、收入或国籍弱弱地分层；大部分变异其实落在人口统计群体内部。一个吸收了"标签—观点"文化关联的模型，会把这种关联复现得比现实更干净利落。

换更大的模型能解决吗？

不能。作者报告说，换用更大、能力更强的模型并不能修复这两类失败中的任何一个。这可能是最该改变研究团队规划方式的结论，因为业界普遍假设合成受访者的质量是一个规模问题，下一代模型发布就会解决。按照这份证据，并非如此——它看起来是人口统计提示（demographic prompting）这一做法本身的结构性问题，而不是背后算力和能力够不够的问题。

如果真拿它来做决策会怎样？

论文中的决策影响分析，是最值得拿给业务方看的部分。在一个细分人群定向任务上——也就是团队日常问"哪个人群最在意某件事"的场景——Chen、Zhu 和 Zheng（2026）报告说，这些模型：

把细分人群之间的差距放大了两到四倍，让差异看起来远比真人数据中更具决定性。
在一半的美国案例、以及大多数跨文化案例中指向了错误的人群——这不是小小的校准误差，而是对真实业务问题给出了另一个答案。
凭空制造出真人身上并不存在的人群分化，虚构出团队可能会花一整个季度去围绕它做设计的分野。

注意这三点的共同模式：所有误差都朝着"自信、整洁、看起来可执行"的方向推。而这恰恰是最容易在评审会上蒙混过关的失败模式。

这对研究者意味着什么

诚实的解读不是"合成受访者毫无用处"，而是：总体分布问题和个体预测问题，是两个不同的问题，而合成受访者在后者上要弱得多。由此有几条实操结论：

绝不要用合成受访者去衡量群体之间差异的大小。这正是该基准显示被放大了两到四倍的那个量。
把人口统计提示当作假设生成器，而不是证据。合成样本可以提示你该去问真人哪些问题；它不该是回答这些问题的人。
始终保留一份留出的真人对照。这项研究之所以能得出结论，正是因为它手里始终有真实作答可供核对。一个没有真人锚点的合成研究，从内部根本无法发现这两类失败。
不要等下一代模型。请按"仅靠能力提升无法弥合这一差距"来做规划。

对于需要快速拿到方向性信号的团队，可行的做法是小规模真实样本，而不是大规模模拟样本。从数量不多但真实的受访者那里获得定性深度——用 AI Interviewer 或 AI 问卷把单次访谈成本压低——你拿到的才是真实存在的变异。如果你确实要跑 Digital Twin Panel 或合成预研，请把它用于正式投放前压力测试你的问题措辞，并在任何人据此行动之前，先拿真人验证结论。

需要留意的局限

这是一篇预印本，其适用范围有几点重要边界。研究结论成立的前提，是作者所测试的人口统计提示与问卷模拟协议——更丰富的条件化策略、访谈式的引导，或在真人作答数据上做微调，都不在本次基准范围内。两个领域都是封闭式态度问卷，因此结论针对的是结构化作答预测，而非开放式的定性材料。另外，四个模型选得再好，也只是四个模型。真正赋予这一结果分量的，是失败在不同模型家族之间的一致性，而不是被测系统的样本量。

常见问题

合成问卷受访者准确吗？
在个体预测层面，这项基准发现并不准确——在两个领域中，没有任何模型能胜过在留出真人数据上拟合的最强非 LLM 基线。

为什么 LLM 会高估人口统计差异？
该研究记录了这一现象，但并未诊断成因：在几乎所有被测的"问题×群体"组合上，模型都把身份标签当成远比真人现实中更强的态度预测因子。

合成受访者在研究中还有用武之地吗？
用于探索大概是可以的——起草问题措辞、压力测试访谈提纲、预演可能的反对意见。但这里的证据反对用它来估计两个人群之间差多少，或据此在细分人群之间做选择。

去哪里读原文？
《When Synthetic Users Fail: A Cross-Domain Benchmark of LLM-Simulated Human Survey Responses》，作者为 Zihan Chen、Di Zhu 和 Lei Nico Zheng，发表于 arXiv：arxiv.org/abs/2607.26348（2026 年 7 月 28 日提交）。

最后更新：2026 年 8 月 11 日

本文是对第三方研究的独立编辑性摘要。Qualitati 与论文作者无隶属关系，上述解读为我们的观点，不代表作者立场。