{"slug":"ai-vs-human-interviewers-randomized-chat-experiment-2026","title":"AI 访谈员 vs 人类访谈员：2026 年随机实验发现了什么","description":"一项 2026 年随机实验比较了 AI 与人类访谈员的文字聊天访谈：切题程度相同，具体性差距未被检测到，文本多出 65%，但跳题更多。","keywords":"AI 访谈员,AI 与人类访谈员对比,AI 主持访谈,访谈数据质量,开源大模型访谈,大规模定性访谈,聊天访谈","date":"2026-10-19","author":"Qualitati 研究团队","category":"AI 用户研究","readTime":"8 分钟阅读","content":"<div class=\"short-answer\"><p><strong>简短回答：</strong>在一项 2026 年的随机实验中，一个本地部署的 7B 参数 AI 访谈员在文字聊天访谈中，回答切题程度与经过培训的非专家人类访谈员持平，具体性没有可检测到的差异，而且每场访谈收集到的受访者文本多出约 65%。不足之处在于：只有接受 AI 访谈的受访者跳过了问题。</p></div>\n\n<p>AI 访谈员常被宣传为以问卷规模开展定性访谈的方法。一直悬而未决的问题是：与人类访谈员相比，它们收集到的数据质量究竟如何？哥本哈根大学的一篇新预印本 <a href=\"https://arxiv.org/abs/2610.23149\">\"Can AI interview? Comparing AI-led to Human-led Chat Interviews\"</a>（作者 Semra Guven、Tobias Gårdhus、Andreas Bjerre-Nielsen、Anna Rogers 和 Hjalmar Bang Carlsen，arXiv，2026 年 10 月）自称是首个直接比较两者数据质量的实证研究。本文概述该研究测试了什么、发现了什么，以及这些结果能说明什么、不能说明什么。</p>\n\n<h2>要点速览</h2>\n<ul>\n<li><strong>切题程度相同。</strong>两种条件下的相关性均值都是 4.9（满分 5），研究设计排除了大于约 0.1 分的差异。</li>\n<li><strong>具体性差距未被检测到，但并未证明相等。</strong>人类得分 3.8，AI 得分 3.6（不显著）。人类最多约 0.75 分的优势无法被排除。</li>\n<li><strong>每分钟获得更多材料。</strong>AI 平均每场访谈提问 31 个，人类为 14 个；AI 每分钟收集 106 个字符的受访者文本，人类为 72 个。</li>\n<li><strong>跳题只出现在 AI 访谈中。</strong>20 名 AI 访谈受访者中有 5 人使用了跳过按钮（共 22 次），人类访谈条件下 21 人中为 0 人。</li>\n<li><strong>小型开源模型就够用。</strong>系统运行在本地部署的 OpenHermes 2.5（Mistral 7B）上，访谈数据从未离开研究者的服务器。</li>\n</ul>\n\n<h2>这项研究测试了什么？</h2>\n<p>研究将大学生随机分配到同步文字聊天访谈中，访谈由经过培训的非专家人类访谈员或 AI 系统主持。两种条件使用相同的聊天界面、相同的访谈提纲和相同的指示。主题是学业求助：一部分讨论学生寻求帮助并获得帮助的经历，另一部分讨论学生需要帮助却没有开口的经历。</p>\n<p>据 Guven 等人（2026）报告，共有 45 名受访者被随机分组，最终分析了 41 场访谈（20 场 AI 主持，21 场人类主持）。第一天 AI 出现故障：重复提问，其中一次还生成了大段与访谈无关的内容。作者剔除了这四场 AI 访谈并修订了系统。受访者在现场与访谈员相邻的房间里作答，并被告知自己所处的条件。现场设置也是为了防止受访者借助生成式 AI 工具撰写回答。</p>\n\n<h3>AI 访谈员是如何构建的？</h3>\n<p>系统把工作分给三个 LLM 智能体，这种多智能体设计改编自早期研究：</p>\n<ol>\n<li><strong>分类智能体</strong>（temperature 0）：做出控制访谈流程的是/否判断，例如筛选问题是否得到肯定回答、某个主问题是否已被覆盖。</li>\n<li><strong>改写智能体</strong>：根据受访者已说过的内容改写预设问题。</li>\n<li><strong>追问智能体</strong>：生成贴合上下文的追问。作者称其为最核心的组件。</li>\n</ol>\n<p>AI 的自由度被刻意限制：它只能围绕一组预先设定的开放式主问题追问，不能在宽泛主题下自行生成新问题。三个智能体都运行在 4-bit 量化的 OpenHermes 2.5 模型上，通过 Ollama 部署在研究者自控的硬件中。作者认为，这解决了商业 API 的三个问题：保密性、GDPR 合规，以及服务商悄然更新或下线模型时的可复现性。</p>\n\n<h2>AI 与人类访谈员相比表现如何？</h2>\n<p>AI 在相关性上与人类持平，在每分钟产出量上明显领先，而人类引出的单条回答略长。下表汇总了 Guven 等人（2026）报告的主要数据。</p>\n<table>\n<thead><tr><th>指标</th><th>AI 访谈员</th><th>人类访谈员</th><th>校正后是否显著？</th></tr></thead>\n<tbody>\n<tr><td>访谈时长中位数</td><td>28.9 分钟</td><td>28.3 分钟</td><td>否</td></tr>\n<tr><td>每场访谈问题数</td><td>31</td><td>14</td><td>是</td></tr>\n<tr><td>每条回答字符数</td><td>112</td><td>150</td><td>否</td></tr>\n<tr><td>每场访谈受访者文本总量</td><td>3,244 字符</td><td>1,968 字符</td><td>是</td></tr>\n<tr><td>每分钟回答数</td><td>1.18</td><td>0.54</td><td>是</td></tr>\n<tr><td>每分钟受访者字符数</td><td>106</td><td>72</td><td>是</td></tr>\n<tr><td>拟出下一个问题所需时间</td><td>3 秒</td><td>39 秒</td><td>是</td></tr>\n<tr><td>平均具体性（1–5）</td><td>3.6</td><td>3.8</td><td>否</td></tr>\n<tr><td>平均相关性（1–5）</td><td>4.9</td><td>4.9</td><td>否</td></tr>\n</tbody>\n</table>\n<p>解读问题数时有两点值得注意。第一，20 场 AI 访谈中有 7 场在用尽所有追问额度后达到了提纲允许的 44 个问题上限，因此这个数字部分反映的是研究者设定的追问预算，而不仅是模型本身的行为。第二，时长均值的差距比中位数更大（30.3 对 26.7 分钟），因为有五场 AI 访谈超过了 40 分钟。这也是作者报告每分钟比率、而不声称访谈接触时间相等的原因。</p>\n\n<h2>AI 访谈数据和人类访谈数据一样具体吗？</h2>\n<p>研究没有检测到差异，但也无法排除有意义的差异。两名编码员对 395 个问答对进行了评分，这些问答对抽自共 909 个问答对。估计差距为人类领先 0.16 分，区间为 −0.71 到 0.36。作者措辞谨慎：在这一样本下，五点量表上半分的差异\"仍有可能\"存在。编码员在具体性上的一致性也一般，序数 Krippendorff's alpha 为 0.65，略低于得出初步结论的常用门槛 0.667。</p>\n<p>相关性的结果更有力，但较为粗略。两种条件下几乎每条回答都得了 5 分，因此这个指标主要只能区分切题与跑题的回答。作者还指出，两种条件都难以引出充分展开、基于亲身经历的叙述，这可能限制了具体性指标的敏感度。</p>\n\n<h2>为什么受访者在 AI 访谈中跳过更多问题？</h2>\n<p>研究设计无法给出原因，作者提出了三种可能的解释。拒绝机器的社交成本可能更低。知道自己在与 AI 对话的受访者可能把访谈当成了问卷。此外，AI 经常追问到允许的上限，后面的追问可能显得重复。由于只有五名受访者跳过问题，研究无法区分这些解释。在实践中，第三种解释是研究团队可以着手改进的：设定追问预算时考虑受访者疲劳，而不是一味追求问题数量。</p>\n\n<h2>这对研究者意味着什么</h2>\n<p>作者为自己的结果划定了清晰的边界，而这条边界正是论文最有价值的部分：</p>\n<ul>\n<li><strong>比较基准是非专家访谈员，而非专家。</strong>这项比较适用于由经过培训的研究助理执行固定提纲的大样本项目。作者表示，只要资源允许，专家访谈员仍是首选。</li>\n<li><strong>文字聊天可能不利于人类。</strong>提纲中没有建立融洽关系的开场，聊天形式也剥离了语音和社交线索。作者预计在面对面访谈中，人类的优势会更大。</li>\n<li><strong>长度不等于深度。</strong>字符数只是丰富程度的替代指标，作者承认简短的表述也可能承载重要意义。孤立地编码问答对也忽略了对话语境。</li>\n<li><strong>约束 AI。</strong>把追问锚定在研究者撰写的主问题上，能让访谈在理论上站得住脚，而一个小型本地模型就足以运行。</li>\n</ul>\n<p>如果你正在规划 AI 主持的访谈，实用的经验是：固定主问题、有意识地限制追问次数、把跳题作为数据质量指标进行追踪，并在扩大规模前先做预测试（这项研究第一天的故障正说明了原因）。<a href=\"https://qualitati.com/ai-interviewer\">QualiTaTi AI 访谈员</a>等工具采用了同样以提纲为锚的模式，访谈记录随后可以在 <a href=\"https://qualitati.com/themelens\">ThemeLens</a> 中编码，并由人来核查主题。</p>\n\n<h2>常见问题</h2>\n<h3>AI 能像人类一样开展定性访谈吗？</h3>\n<p>在这项 2026 年的文字聊天实验中，7B AI 访谈员得到的回答与经过培训的非专家人类访谈员一样切题，具体性没有可检测到的差异，同时每分钟收集到更多文本。该研究没有将 AI 与专家访谈员或面对面访谈进行比较。</p>\n<h3>AI 访谈员需要 GPT 级别的模型吗？</h3>\n<p>不一定。这项研究使用的是 OpenHermes 2.5，一个在本地运行的 7B 开源权重 Mistral 模型。作者认为这是首个基于如此小模型构建的 AI 访谈系统。他们也指出，这些结果并非性能上限，因为该模型并未针对访谈任务进行微调。</p>\n<h3>研究规模有多大？</h3>\n<p>共有 45 名大学生被随机分组，分析了 41 场访谈，产生 909 个问答对。每个条件约二十名受访者，研究能够检测到较大的差异，但无法在具体性上确立等效性。</p>\n<h3>研究发现的最大风险是什么？</h3>\n<p>跳题。只有 AI 访谈的受访者使用了跳过按钮（20 人中 5 人，对比 21 人中 0 人，Fisher 精确检验 p = 0.021，未校正），因此在 AI 主持的访谈中值得监测无应答情况。</p>\n\n<p><em>最后更新：2026-10-19。本文是对 Guven、Gårdhus、Bjerre-Nielsen、Rogers 和 Carlsen（2026）第三方研究的独立编辑摘要。QualiTaTi 未参与该研究。完整方法与结果请参阅<a href=\"https://arxiv.org/abs/2610.23149\">原始论文</a>。</em></p>\n","related":[{"slug":"artificial-societies-benchmark-synthetic-population-validity-2026","title":"合成人群数据有效吗？2026 年 11 项检验基准研究","description":"合成人群数据是否有效？2026 年一项基准研究用 11 项效度检验评估 9 个大语言模型：它们能复现平均值，却压缩量表区间并扭曲特质之间的关系。","category":"AI 用户研究","date":"2026-10-15","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"synthetic-consumers-visual-marketing-pretest-2026","title":"合成消费者能预测试 logo 和广告吗？2026 研究结果","description":"合成消费者能否预测试视觉营销？2026 年研究发现，GPT 智能体能正确识别 logo 特征，但六项人类效应最多只复现 2 项，还有 1 项结论相反。","category":"AI 用户研究","date":"2026-10-14","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"interview-informed-llm-survey-responses-2026","title":"LLM 能用访谈记录预测问卷答案吗？2026 年一项研究的检验","description":"基于访谈的 LLM 能预测问卷答案吗？2026 年一项研究用 19 名真实受访者检验了 GPT、Claude 和 Gemini：哪些结论站得住，哪些失效了。","category":"AI 用户研究","date":"2026-10-12","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}