合成受访者能替你做预调研吗？2026 年研究发现
Qualitati 研究团队 · 2026-10-20 · 7 分钟阅读
简短回答：可以，但只能作为“预试测”，不能取代真正的预调研。一篇 2026 年的预印本发现，LLM 模拟受访者的推理过程能暴露出研究设计中的缺陷，而这些缺陷是付费的真人预调研和直接让聊天机器人审阅都没有发现的。模拟出来的答案本身不必准确，关键在于不同人设会以不同方式理解同一道题。
关于合成受访者的讨论，大多在问他们的回答是否与真人一致。一篇新论文换了个问题：在招募任何人之前，模拟受访者能否告诉你问卷哪里出了问题？《UnexpectedParrots: Iterating Behavioral Experiment Design with In-Silico Simulations》的作者是 Sanchaita Hazra（犹他大学）、Bodhisattwa Prasad Majumder、Pao Siangliulue、Peter Clark、Joseph Chang（艾伦人工智能研究所）以及 Amy X. Zhang（华盛顿大学）。该论文于 2026 年 10 月 18 日发布在 arXiv 上，目前为审稿中的预印本。
核心要点
- 把模拟当作诊断工具。系统读取 LLM 受访者在作答之前的推理过程，并把不同人设之间的理解分歧视为题目存在缺陷的信号。
- 质量上胜过付费真人预调研。在 0–3 分的质量量表上，其批评意见平均得分 2.44，而一个 6 人付费 Prolific 预调研的意见平均只有 1.53。
- 模拟补上了聊天机器人遗漏的问题。它发现了 49 个中度至严重的错误，是不经模拟、直接用 Claude Opus 4.6 审阅时漏掉的；反方向只有 11 个。
- 研究者始终掌握主导权。在一项 12 名研究者参与的用户研究中，参与者把 58% 的批评意见纳入修订，下调工具严重程度评级的次数是上调的四倍。
UnexpectedParrots 要解决什么问题？
它针对的是只有在数据收集之后才暴露、而预算早已花完的设计缺陷。作者举的例子是一道关于信任科学家的题目。科学家会把它理解为给自己所属群体打分；认为科学已被政治化的人则会把它当成一道政治题。两人可能选了量表上的同一个点，因此回答分布完全看不出同一个数字背后其实是两种不同的判断。
真人预调研能发现其中一部分问题，但样本小，而且从研究团队自身圈子里招来的预调研参与者往往与团队有同样的盲点。作者的思路是：在任何真人看到问卷之前，先用模拟来拓宽草稿被解读的方式。
“模拟—批评—修订”循环如何运作？
共四步，后两步可以反复进行：
- 编译与模拟。研究者提供研究问题、问卷、刺激材料和目标人口特征范围。系统在这一范围内生成 50 个人设，每个人设的生平都是在看不到研究内容的情况下写成的。系统逐题、逐个人设地单独调用模型，使用开源模型 GLM-5.2，以便看到模型的内部推理。记录下来的推理过程长度中位数为 430 词。
- 批评。批评模块（Critic）读取答案和推理过程，输出两类结果。结构性错误指现有题目中的问题，如混杂因素或测量偏差，每条都标注高、中、低严重程度。遗漏机会指设计中尚未涵盖的问题或区分维度。
- 筛选。研究者逐条接受或拒绝批评意见，调整其严重程度，记录自己的信心并添加评论。
- 修订。修订模块（Refiner）只改写研究者选中的条目，并遵循其评论。
论文开头的例子说明了为什么推理过程比答案更重要。以“你多常在网上遇到 AI 生成的内容？”这道题为例。熟悉度低的人设推断自己不擅长识别这类内容，于是回答“很少”；熟悉度高的人设推理恰恰相反，回答“经常”。批评模块据此标出一个测量错误：单一题项无法区分网上实际有多少 AI 内容，以及受访者能识别出多少。
它与真人预调研和聊天机器人相比表现如何？
作者在一项真实、仍在进行中的问卷实验上做了测试，主题是公众对 AI 生成虚假信息的看法。问卷共 42 道题，把矩阵题拆分为单题后为 112 道。研究比较了三种条件。四位未参与编写该研究的作者对每条批评意见从 0（错误或超出范围）到 3（忽视它会严重损害研究结果）打分。经过几轮校准后，他们的加权 Cohen's kappa 在结构性错误上达到 0.77，在遗漏机会上达到 0.85。
| 条件 | 具体做法 | 产出 | 批评意见平均质量（0–3） |
|---|
| 真人预调研 | 6 名 Prolific 参与者，每人 $25；总计 $200 | 103 条题目层面的批评意见；没有遗漏机会 | 1.53 |
| NoSim | 由 Claude Opus 4.6 直接审阅设计 | 34 个结构性错误，10 个遗漏机会 | 2.31 |
| UnexpectedParrots | 模拟人设群 + 批评模块 | 82 个结构性错误，20 个遗漏机会 | 2.44 |
根据 Hazra 等人（2026）的结果，两种 AI 条件的评分都显著高于真人预调研，而两者之间的平均分没有显著差异。差别在于覆盖面。只统计评分为 2 或 3 的批评意见，模拟发现了 49 个无模拟基线遗漏的错误，而基线只发现了 11 个模拟遗漏的错误。在三种条件都提出了异议的 14 道题上，模拟给出的批评意见评分最高（优于真人预调研，p = 0.013；优于 NoSim，p = 0.029）。在遗漏机会上，模拟得分 2.76，NoSim 为 2.46，但差异不具统计显著性（p = 0.167）。
研究者如何使用这些批评意见？
他们有选择地采纳，这一点令人放心。共有 12 名研究者参与，平均拥有八年研究经验。他们带来了自己的问卷、访谈提纲、形成性研究和实验，研究对象分布在美国、印度、埃塞俄比亚和坦桑尼亚。工具总共产生了 521 条批评意见，每位研究者 21 到 63 条不等。参与者对其中 440 条（84%）做了裁定，完成了 22 次修订，12 人中有 9 人进行了不止一轮。
- 研究者在 57% 已评分的卡片上调整了批评模块的严重程度，下调远多于上调（199 次对 51 次）。
- 批评模块把 46% 的结构性错误标为高严重程度；经研究者审阅后，只剩 21%。
- 遗漏机会被纳入修订的比例高于结构性错误（57.5% 对 48.5%）。作者认为，这说明该工具最大的用处在于拓宽研究问题。
- 进行了第二轮的五位研究者都认为第二轮的批评意见优于第一轮。
有哪些局限？
最主要的一点是，模拟出来的人可能在关键之处出错，作者把这称为 WEIRD 批评在更深一层的重现。研究美国样本的研究者普遍认为推理过程合理；研究印度和埃塞俄比亚的研究者则不然，其中一位形容印度人设是“1980 年代的刻板原型”。不过，对人设的不信任并没有延伸到批评意见本身：这位研究者仍然认为该工具非常有用。
其他局限偏实务。矩阵题会被拆平为单题；工具无法就研究意图进行自由对话；离线比较只基于一份问卷，且批评意见由作者自己的团队评分。应将其视为早期的、有前景的证据，而不是经过验证的预试测标准。
这对研究者意味着什么
值得关注的转变是从以模拟替代转向以模拟改进。你不需要相信合成受访者是准确的，也能把他们当作压力测试来用。实际做法是：读他们的推理过程，找出不同的理解方式，而不是拿他们的答案做估计。然后再用修订后的草稿开展真人预调研。
同样的逻辑也适用于访谈提纲。如果你正在为 AI Interviewer 研究起草提纲，可以先用几个与你背景不同的模拟人设测试一下，看看哪些问题会被理解成不同的意思。数字孪生样本库（Digital Twin Panel）也可以扮演同样的预试测角色：它是低成本的第一轮检查，而不是真实受访者的替身。
常见问题
合成受访者能取代预调研吗？
就目前的证据而言不能。作者把模拟定位为在真人预调研之前、与之并行，或在无法开展真人预调研时提供的反馈。
为什么用推理过程而不是答案？
因为一道可以被理解成互不相容含义的题目，无论由谁来读都是有缺陷的。即使没有哪个人设是真实的，人设之间的理解分歧依然有信息价值。
这比直接让 ChatGPT 或 Claude 审阅问卷更好吗？
在平均质量上两者接近（2.44 对 2.31）。但模拟发现了多得多的、直接审阅遗漏的中度至严重问题（49 对 11），并且在两者都覆盖的题目上，其批评意见得分更高。
最后更新：2026-10-20。
本文是 Qualitati 研究团队对第三方研究的独立编辑摘要。Qualitati 与论文作者没有关联。完整的方法和结果请阅读原论文。