AI 预测能否在不取代受访者的前提下提高问卷估计的精度?可以,但幅度有限。香港大学的 Lai Wei 与 Yifei Zhu 在 2026 年的一项研究中,用预测驱动推断(prediction-powered inference)把模型预测与真实问卷回答结合起来,覆盖 83 个结果变量。对于均值估计,监督学习模型带来约 7–12% 的有效样本量提升;LLM 的提升更小,但仍为正。
这篇论文在“合成受访者”之争中立场鲜明:AI 预测无法代替真人,但可以放大每一次真实访谈的价值。下文介绍其方法、关键数字,以及对那些想用语言模型替代受访者的研究者意味着什么。
什么是预测驱动推断(PPI)?
预测驱动推断是一种既利用模型对问卷答案的预测、又让真实回答来纠正模型误差的方法。它分两步:
- 大规模预测。模型为一个超大文件中的每个人预测结果变量(例如自评健康);这个文件只有人口统计信息,没有问卷答案。本研究使用的是美国社区调查(ACS),约含 320 万–340 万(3.2–3.4 million)条个人记录。
- 用真人校正。同一模型也为真实的问卷受访者做预测,再把他们实际回答与预测之间的平均差值作为校正项加回去。
由于校正来自真人,即使模型有偏差,估计值仍然指向正确目标。精度之所以提高,是因为问卷只需估计模型无法预测的那部分变异。社会学界也把这种做法称为“混合受试者设计”(mixed subjects design)。同样的道理,我们此前在合成问卷数据为何会让置信区间失效一文中指出,未经校正的合成答案绝不应直接用于总体估计。
这项研究测试了什么?
研究检验了 AI 预测能否提升两项美国大型概率抽样调查的精度。根据 Wei 和 Zhu(2026)的报告,基准测试包括:
- 37 个态度类结果变量,来自 2022 年综合社会调查(GSS):目标年份有 3,544 名受访者,1988–2021 年的历史数据共 46,971 条观测。
- 46 个健康类结果变量,来自 2017 年美国国民健康访谈调查(NHIS):目标年份有 78,132 条观测。
- 统一口径的协变量,在问卷和 ACS 中均可获得:性别、年龄、婚姻状况、种族、出生地、公民身份、教育、就业、职业、行业、收入和贫困状况。
研究比较了三类预测器:基于往年调查训练的监督集成模型(“历史”)、在当年数据内交叉拟合的监督模型(“交叉”),以及用 GPT-5-mini、Gemini 2.5 Flash 和 Qwen3(含一个微调的 Qwen3 版本)进行的 LLM 受访者模拟。
AI 能把问卷精度提高多少?
AI 预测提高了总体均值估计的精度,但提升幅度中等,且监督学习模型优于 LLM。下表汇总了论文报告的平均结果。
| 预测器 | 调查 | 置信区间宽度缩减(均值) | 有效样本量提升(均值) |
|---|---|---|---|
| 历史监督学习模型 | NHIS(健康) | 5.4% | 12.2% |
| 交叉拟合监督学习模型 | NHIS(健康) | 4.3% | 9.8% |
| 最佳 LLM | NHIS(健康) | 1.2% | 2.6% |
| 历史监督学习模型 | GSS(态度) | 3.4% | 7.5% |
| 交叉拟合监督学习模型 | GSS(态度) | 3.0% | 6.5% |
| 最佳 LLM | GSS(态度) | 1.4% | 2.8% |
平均值掩盖了不同结果变量之间的巨大差异。在 NHIS 中,均值提升最大的是自评健康、功能受限和高强度体力活动时长,约为 34–36%。在 GSS 中,表现最好的变量(电脑使用、大麻合法化、住房拥有和社会阶层)约为 21–23%。相比之下,许多社会和政治态度仅凭人口统计信息很难预测。
为什么回归系数更难受益?
回归系数的提升通常比均值更小、也更不稳定。作者解释说,预测器必须降低与某个特定关联相关的变异,而不只是把结果变量预测准。他们的实用建议是:针对你真正关心的估计量来评估预测器,而不是只看整体准确率。
LLM 在哪些情况下仍然有用?
当还没有任何带标签的训练数据时,例如一道全新的问卷题目,LLM 最有用。监督模型需要以往的答案,而 LLM 只需要人口统计画像和题目措辞。以自评健康为例,Wei 和 Zhu(2026)报告:交叉拟合监督模型在 100 个训练样本时的预测–回答相关系数约为 0.33,1,000 个时约为 0.46,5,000 个时约为 0.49。GPT-5-mini 在没有任何针对该变量训练的情况下约为 0.443,大致相当于约 1,000 个训练样本的监督模型;Gemini 2.5 Flash 较低,约为 0.422。随着训练数据增加,监督模型会反超。
小幅提升如何改变检验结论
即使预测准确度不高,也可能改变结果是否达到显著。论文的示例以 1,000 人的问卷为例:若预测器 R² = 0.30、辅助文件为 10,000 条,有效样本量升至约 1,370,仅用问卷时约 0.114 的 p 值降至约 0.064。若 R² = 0.60,有效样本量达到约 2,174(辅助记录 10,000 条)或 2,463(100,000 条),p 值降至约 0.020 或 0.013。背后的经验法则是:有效样本量约为 n / (1 − R²),因此 R² 为 0.10 时提升 11%,为 0.40 时提升 67%。
这对研究者意味着什么
这项研究支持一个简单的设计原则:用 AI 提高每一份真人回答的回报,而不是把真人去掉。具体来说:
- 保留真实的概率样本。PPI 之所以有效,是因为真实回答在校正模型。它无法修正无应答偏差或覆盖偏差,而且问卷与辅助文件必须描述同一总体。
- 与简单基线对比。作者建议在信任 LLM 输出之前先进行审计,并与监督模型比较。
- 行为和健康类变量受益更多,态度类较少。与人口统计联系较弱的观点类变量受益最少。
- 分别检查子群体。整体准确率高,可能掩盖小群体中预测很弱的问题。
同样的逻辑也适用于大型公共调查之外的场景。如果你用数字孪生样本库来探索想法,应把它们的回答视为暂定预测,并用真实受访者验证关键估计,例如向真实样本发放对话式 AI 问卷。
常见问题
LLM 能取代问卷受访者吗?
不能。在这项研究中,LLM 预测只有在真实问卷回答校正其误差之后才有用。作者认为,把合成答案当作受访者,会让有偏差的结果看起来具有虚假的精确性。
预测驱动推断等同于使用合成数据吗?
不是。合成数据用生成的答案替代真实答案;PPI 保留每一个真实答案,只用预测来降低方差,并内置了对模型偏差的校正。
哪种预测器效果最好?
基于往年调查训练的监督集成模型平均提升最大:NHIS 均值的有效样本量提升 12.2%,GSS 均值提升 7.5%。LLM 的提升较小,但为正。
在哪里阅读原论文?
预印本为 Lai Wei 与 Yifei Zhu 的《Using AI Predictions to Augment Rather Than Replace Surveys》(arXiv,2026 年 11 月)。作者说明复现材料托管在 OSF 上。
最后更新:2026 年 11 月 12 日
本文是 Qualitati 研究团队对第三方研究的独立编辑摘要。Qualitati 与该研究的作者无关联。所有数据均取自原论文,完整方法与注意事项请参阅原文。
