问卷中加入 AI 追问访谈有用吗?2,243 人实验(2026)
Qualitati 研究团队 · 2026-10-16 · 7 分钟阅读
简短回答:是的,在问卷中加入 AI 追问访谈能得到丰富得多的回答。2026 年发表于《Public Opinion Quarterly》的一项预注册实验覆盖 2,243 名美国受访者,结果显示:与固定的"为什么?"追问相比,AI 追问让开放式解释的长度增加了一倍以上;满意度几乎没有下降,中途退出也没有增加。但 AI 对话也让部分封闭式题目的答案发生了偏移。
问卷研究者长期以来习惯在封闭式题目后加一句开放式追问"您为什么持有这一立场?",也长期对由此得到的简短、模糊的回答感到失望。AI 访谈有望把类似半结构化访谈的追问大规模地嵌入问卷之中。Austin、Hohe、Kennedy、Litman、Minozzi 和 Moses 的一项新随机实验直接检验了这一设想,并测量了供应商很少提及的副作用。
核心要点
- 字数更多,理由更多。与固定追问相比,AI 追问在移民议题上多出约 70 个词,在关税议题上多出 57 个词,字数是固定追问组的两倍以上。
- 受访者负担很小。在 7 点量表上,满意度估计仅下降 0.06 分,中途退出率没有上升。
- 答案可能被改变。先与 AI 对话会让移民议题的回答偏向支持;在封闭式题目之后进行 AI 访谈,则让两个议题的回答都略微更加极化。
- 题目顺序变得更重要。AI 对话放在封闭式题目之前还是之后,会改变受访者给出的理由。
这项研究测试了什么?
研究将受访者随机分配到同一份简短问卷的五个版本,涉及两个美国政策议题:符合特定条件的无证移民是否应获准合法居留,以及提高进口关税对国家是好是坏。据 Austin 等(2026)报告,2,243 名美国成年受访者于 2024 年 12 月通过 CloudResearch Connect 招募,每组约 450 人,并按人口普查数据对年龄、性别、族裔和种族设定配额。研究经过预注册,AI 访谈在名为 Engage 的平台上运行。
| 实验组 | 受访者看到的内容 |
| 仅封闭式(CO) | 两道封闭式政策题,无追问 |
| 封闭式 + 固定追问(CF) | 每道封闭式题目后接标准追问"您为什么对这一议题持有这一立场?" |
| 封闭式 + AI(CAI) | 每道封闭式题目后接一段 AI 访谈 |
| AI + 封闭式(AIC) | 先回答开场问题并进行 AI 访谈,再作答封闭式题目 |
| 仅 AI(AIO) | 开场问题和 AI 访谈,无封闭式题目 |
这一设计让作者得以区分三个常被混为一谈的问题:AI 追问能否比固定追问产出更好的开放式数据?它会不会让受访者反感?它会不会改变受访者在封闭式测量上的回答?
AI 追问访谈能让问卷回答更丰富吗?
能,而且差距很大。与固定追问组相比,AI 组在移民议题上多出 70 个词,在关税议题上多出 57 个词,字数是固定追问组的两倍以上。AI 访谈还让受访者给出的不同理由数量在移民议题上增加 0.75 个,在关税议题上增加 0.63 个。合并来看,两种 AI 顺序下给出理由的比例都达到 24%,而固定追问仅为 14%。
在对开放式文本编码时,作者使用 GPT-4o 来总结和标注理由。在每组抽取 300 个标签的抽查中,4 个(1.3%)明显错误,16 个(5.3%)不够明确。作者认为模型的总结质量良好,但并未把模型给出的各类理由占比视为可靠,这对任何打算让 LLM 无人监督地统计主题的研究者都是有益的提醒。
AI 访谈员会降低受访者满意度或完成率吗?
几乎不会。在 7 点满意度量表上,AI 环节的估计效应为 -0.06,95% 置信区间为 -0.11 至 0.02,至多是非常小的下降。中途退出没有增加:作者报告,未完成问卷的 10 人全部在进入 AI 环节之前就已退出。在与 AI 互动的 1,422 名受访者中,1,057 人(74%)对问卷留下了评论,其中约 44% 为正面评价,12% 为批评。
真正的成本是时间。完成时间中位数从仅封闭式组的不到 7 分钟,到先进行 AI 访谈组的 14.5 分钟不等。由于每人都获得相同的 3 美元固定报酬,隐含时薪从 25.90 美元降至 12.41 美元。如果按分钟付费,请提前做好预算。AI 本身很便宜:作者估计每次访谈约 0.008 美元。
AI 追问会改变受访者的答案吗?
有时会,这也是研究者最应认真对待的发现。当 AI 对话出现在封闭式题目之前(AIC)时,移民议题的回答偏向支持,而关税议题没有类似效应。当 AI 访谈出现在封闭式题目之后(CAI)时,受访者更可能在访谈后再次作答同一题目时改变答案,且两个议题的回答都略微更加极化。作者认为这些极化效应较小,因为大多数受访者的答案完全没有变化。
顺序还影响了理由的内容。例如,AI 追问使关税支持者更可能提到国内生产,而把 AI 放在前面则使"保护就业"更常被提及。换言之,对话并不是中立的记录工具,它本身就是测量工具的一部分,可能启动或强化观点。
这对研究者意味着什么
- 在需要深度时使用 AI 追问。如果你需要了解评分背后的原因,例如 NPS 驱动因素、政策理由或概念测试反应,AI 追问胜过静态的"为什么?"文本框。Qualitati AI 问卷等工具可以为标准题目加入对话式追问。
- 如果数字很重要,先问封闭式题目。如果要报告封闭式题目的估计值,请在 AI 对话之前提问;之后若再次提问,必须考虑答案变化。
- 随机化或记录顺序。由于位置会改变出现的理由,请在方法部分报告顺序,并在可能时进行随机化。
- 人工核查 LLM 编码。用 AI 总结来发现理由,但要用人工核查的样本来验证占比。ThemeLens 等工具可以加快这一审核,但不能取而代之。
- 预算时间,而不仅是 token。访谈让问卷时长大约翻倍,因此应调整激励,保证实际报酬公平。
需要注意的局限
样本来自非概率在线样本库,男性、西班牙裔和白人受访者的配额未达标,60 岁以上人群的缺口尤其明显。研究只测试了一个 AI 系统,且它并不总是遵守最多三次追问的限制。两个议题都是高度显著、立场分化的美国政策问题,因此在不那么敏感或更私密的话题上效应可能不同。作者本人也呼吁在其他话题和人群中开展研究,并考察访谈员的语气、亲和力等特征。
常见问题
AI 访谈比开放式问卷题更好吗?
就深度而言,是的。在这项实验中,与固定的"为什么?"追问相比,AI 追问让开放式回答字数增加一倍以上,给出理由的受访者比例从 14% 提高到 24%。
受访者会反感 AI 追问吗?
不太会。满意度在 7 点量表上估计仅下降 0.06 分,中途退出没有增加,正面评论(44%)明显多于批评(12%)。
AI 访谈员会让问卷结果产生偏差吗?
会。把 AI 对话放在封闭式题目之前会使移民议题的答案发生偏移,放在之后则会略微加剧极化。请先问关键的封闭式题目,并报告题目顺序。
在哪里可以阅读原始研究?
论文为 Austin、Hohe、Kennedy、Litman、Minozzi 和 Moses(2026),"An Experimental Comparison of AI-Enabled Semi-Structured Interviews and Fixed Surveys",《Public Opinion Quarterly》:doi.org/10.1093/poq/nfag063。
最后更新:2026-10-16。
本文是对第三方研究的独立编辑性摘要。Qualitati 与该研究作者无任何关联,所有数据均引自已发表的论文。