{"slug":"ai-follow-up-interviews-vs-fixed-surveys-experiment-2026","title":"问卷中加入 AI 追问访谈有用吗？2,243 人实验（2026）","description":"AI 追问访谈能提升问卷回答质量吗？2026 年 POQ 一项 2,243 人实验发现：理由更丰富、满意度基本不变，但部分答案会发生偏移。","keywords":"AI 追问访谈,AI 访谈与问卷对比,对话式问卷,AI 访谈员问卷实验,开放式问卷题,AI 问卷追问,题目顺序效应","date":"2026-10-16","author":"Qualitati 研究团队","category":"研究方法论","readTime":"7 分钟阅读","content":"<div class=\"short-answer\"><p><strong>简短回答：</strong>是的，在问卷中加入 AI 追问访谈能得到丰富得多的回答。2026 年发表于《<em>Public Opinion Quarterly</em>》的一项预注册实验覆盖 2,243 名美国受访者，结果显示：与固定的\"为什么？\"追问相比，AI 追问让开放式解释的长度增加了一倍以上；满意度几乎没有下降，中途退出也没有增加。但 AI 对话也让部分封闭式题目的答案发生了偏移。</p></div>\n\n<p>问卷研究者长期以来习惯在封闭式题目后加一句开放式追问\"您为什么持有这一立场？\"，也长期对由此得到的简短、模糊的回答感到失望。AI 访谈有望把类似半结构化访谈的追问大规模地嵌入问卷之中。Austin、Hohe、Kennedy、Litman、Minozzi 和 Moses 的一项新随机实验直接检验了这一设想，并测量了供应商很少提及的副作用。</p>\n\n<h2>核心要点</h2>\n<ul>\n<li><strong>字数更多，理由更多。</strong>与固定追问相比，AI 追问在移民议题上多出约 70 个词，在关税议题上多出 57 个词，字数是固定追问组的两倍以上。</li>\n<li><strong>受访者负担很小。</strong>在 7 点量表上，满意度估计仅下降 0.06 分，中途退出率没有上升。</li>\n<li><strong>答案可能被改变。</strong>先与 AI 对话会让移民议题的回答偏向支持；在封闭式题目之后进行 AI 访谈，则让两个议题的回答都略微更加极化。</li>\n<li><strong>题目顺序变得更重要。</strong>AI 对话放在封闭式题目之前还是之后，会改变受访者给出的理由。</li>\n</ul>\n\n<h2>这项研究测试了什么？</h2>\n<p>研究将受访者随机分配到同一份简短问卷的五个版本，涉及两个美国政策议题：符合特定条件的无证移民是否应获准合法居留，以及提高进口关税对国家是好是坏。据 Austin 等（2026）报告，2,243 名美国成年受访者于 2024 年 12 月通过 CloudResearch Connect 招募，每组约 450 人，并按人口普查数据对年龄、性别、族裔和种族设定配额。研究经过预注册，AI 访谈在名为 Engage 的平台上运行。</p>\n\n<table>\n<thead><tr><th>实验组</th><th>受访者看到的内容</th></tr></thead>\n<tbody>\n<tr><td>仅封闭式（CO）</td><td>两道封闭式政策题，无追问</td></tr>\n<tr><td>封闭式 + 固定追问（CF）</td><td>每道封闭式题目后接标准追问\"您为什么对这一议题持有这一立场？\"</td></tr>\n<tr><td>封闭式 + AI（CAI）</td><td>每道封闭式题目后接一段 AI 访谈</td></tr>\n<tr><td>AI + 封闭式（AIC）</td><td>先回答开场问题并进行 AI 访谈，再作答封闭式题目</td></tr>\n<tr><td>仅 AI（AIO）</td><td>开场问题和 AI 访谈，无封闭式题目</td></tr>\n</tbody>\n</table>\n\n<p>这一设计让作者得以区分三个常被混为一谈的问题：AI 追问能否比固定追问产出更好的开放式数据？它会不会让受访者反感？它会不会改变受访者在封闭式测量上的回答？</p>\n\n<h2>AI 追问访谈能让问卷回答更丰富吗？</h2>\n<p>能，而且差距很大。与固定追问组相比，AI 组在移民议题上多出 70 个词，在关税议题上多出 57 个词，字数是固定追问组的两倍以上。AI 访谈还让受访者给出的不同理由数量在移民议题上增加 0.75 个，在关税议题上增加 0.63 个。合并来看，两种 AI 顺序下给出理由的比例都达到 24%，而固定追问仅为 14%。</p>\n<p>在对开放式文本编码时，作者使用 GPT-4o 来总结和标注理由。在每组抽取 300 个标签的抽查中，4 个（1.3%）明显错误，16 个（5.3%）不够明确。作者认为模型的总结质量良好，但并未把模型给出的各类理由占比视为可靠，这对任何打算让 LLM 无人监督地统计主题的研究者都是有益的提醒。</p>\n\n<h2>AI 访谈员会降低受访者满意度或完成率吗？</h2>\n<p>几乎不会。在 7 点满意度量表上，AI 环节的估计效应为 -0.06，95% 置信区间为 -0.11 至 0.02，至多是非常小的下降。中途退出没有增加：作者报告，未完成问卷的 10 人全部在进入 AI 环节之前就已退出。在与 AI 互动的 1,422 名受访者中，1,057 人（74%）对问卷留下了评论，其中约 44% 为正面评价，12% 为批评。</p>\n<p>真正的成本是时间。完成时间中位数从仅封闭式组的不到 7 分钟，到先进行 AI 访谈组的 14.5 分钟不等。由于每人都获得相同的 3 美元固定报酬，隐含时薪从 25.90 美元降至 12.41 美元。如果按分钟付费，请提前做好预算。AI 本身很便宜：作者估计每次访谈约 0.008 美元。</p>\n\n<h2>AI 追问会改变受访者的答案吗？</h2>\n<p>有时会，这也是研究者最应认真对待的发现。当 AI 对话出现在封闭式题目之前（AIC）时，移民议题的回答偏向支持，而关税议题没有类似效应。当 AI 访谈出现在封闭式题目之后（CAI）时，受访者更可能在访谈后再次作答同一题目时改变答案，且两个议题的回答都略微更加极化。作者认为这些极化效应较小，因为大多数受访者的答案完全没有变化。</p>\n<p>顺序还影响了理由的内容。例如，AI 追问使关税支持者更可能提到国内生产，而把 AI 放在前面则使\"保护就业\"更常被提及。换言之，对话并不是中立的记录工具，它本身就是测量工具的一部分，可能启动或强化观点。</p>\n\n<h2>这对研究者意味着什么</h2>\n<ol>\n<li><strong>在需要深度时使用 AI 追问。</strong>如果你需要了解评分背后的原因，例如 NPS 驱动因素、政策理由或概念测试反应，AI 追问胜过静态的\"为什么？\"文本框。<a href=\"https://qualitati.com/surveys\">Qualitati AI 问卷</a>等工具可以为标准题目加入对话式追问。</li>\n<li><strong>如果数字很重要，先问封闭式题目。</strong>如果要报告封闭式题目的估计值，请在 AI 对话之前提问；之后若再次提问，必须考虑答案变化。</li>\n<li><strong>随机化或记录顺序。</strong>由于位置会改变出现的理由，请在方法部分报告顺序，并在可能时进行随机化。</li>\n<li><strong>人工核查 LLM 编码。</strong>用 AI 总结来发现理由，但要用人工核查的样本来验证占比。<a href=\"https://qualitati.com/themelens\">ThemeLens</a> 等工具可以加快这一审核，但不能取而代之。</li>\n<li><strong>预算时间，而不仅是 token。</strong>访谈让问卷时长大约翻倍，因此应调整激励，保证实际报酬公平。</li>\n</ol>\n\n<h2>需要注意的局限</h2>\n<p>样本来自非概率在线样本库，男性、西班牙裔和白人受访者的配额未达标，60 岁以上人群的缺口尤其明显。研究只测试了一个 AI 系统，且它并不总是遵守最多三次追问的限制。两个议题都是高度显著、立场分化的美国政策问题，因此在不那么敏感或更私密的话题上效应可能不同。作者本人也呼吁在其他话题和人群中开展研究，并考察访谈员的语气、亲和力等特征。</p>\n\n<h2>常见问题</h2>\n<h3>AI 访谈比开放式问卷题更好吗？</h3>\n<p>就深度而言，是的。在这项实验中，与固定的\"为什么？\"追问相比，AI 追问让开放式回答字数增加一倍以上，给出理由的受访者比例从 14% 提高到 24%。</p>\n<h3>受访者会反感 AI 追问吗？</h3>\n<p>不太会。满意度在 7 点量表上估计仅下降 0.06 分，中途退出没有增加，正面评论（44%）明显多于批评（12%）。</p>\n<h3>AI 访谈员会让问卷结果产生偏差吗？</h3>\n<p>会。把 AI 对话放在封闭式题目之前会使移民议题的答案发生偏移，放在之后则会略微加剧极化。请先问关键的封闭式题目，并报告题目顺序。</p>\n<h3>在哪里可以阅读原始研究？</h3>\n<p>论文为 Austin、Hohe、Kennedy、Litman、Minozzi 和 Moses（2026），\"An Experimental Comparison of AI-Enabled Semi-Structured Interviews and Fixed Surveys\"，《<em>Public Opinion Quarterly</em>》：<a href=\"https://doi.org/10.1093/poq/nfag063\">doi.org/10.1093/poq/nfag063</a>。</p>\n\n<p><em>最后更新：2026-10-16。</em></p>\n<p><em>本文是对第三方研究的独立编辑性摘要。Qualitati 与该研究作者无任何关联，所有数据均引自已发表的论文。</em></p>\n","related":[{"slug":"batching-synthetic-respondents-inflates-correlations-2026","title":"批量生成合成受访者会夸大相关性：2026 年研究","description":"LSE 2026 年研究发现：在一次 LLM 请求中批量生成合成受访者会夸大变量相关性。本文解读其对合成问卷数据效度、数字孪生与 silicon sampling 的影响。","category":"研究方法论","date":"2026-10-13","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"ai-chatbot-qualitative-interviews-lessons-2026","title":"AI 聊天机器人访谈仅需 €0.04？一项 2026 年研究的启示","description":"AI 聊天机器人能取代定性访谈员吗？一项 2026 年研究分析了 74 场机器人主持的访谈，发现数据收集成本低、参与度高，但深度有限。","category":"研究方法论","date":"2026-10-06","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-inductive-content-analysis-survey-responses-2026","title":"GPT-5 能做问卷文本的归纳式内容分析吗？2026 年研究","description":"GPT-5 能做归纳式内容分析吗？一项 2026 年研究分析了 903 条问卷回答，发现人机一致性为中等（编码 ARI 0.61、主题 0.54），且因题目而异。","category":"研究方法论","date":"2026-10-05","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}