AI 用户研究

AI 访谈者能问出真实答案吗?InterviewBench 2026 研究

Qualitati 研究团队

2026-10-28

7 分钟阅读


简短回答:目前大多还做不到。InterviewBench 是一项 2026 年发布的基准测试,评估了 23 个大语言模型担任访谈者的能力。结果显示,模型会把访谈提纲上的每个问题都问到,却常常拿不到清晰、可用的回答。在模拟访谈中,表现最好的模型覆盖了 100% 的问题,但真正引出目标信息的比例只有大约一半到三分之二。

最后更新:2026 年 10 月 28 日

AI 主持的访谈如今已广泛用于用户体验、市场和学术研究,而大多数评估只关心一个问题:对话听起来自然吗?复旦大学的一项新基准认为,这个标准测错了对象。对现代模型来说,语言流畅很容易;难的是让受访者说出具体、可记录的内容。本文总结这项研究测了什么、发现了什么,以及如果你用 AI 主持访谈,这意味着什么。

什么是 InterviewBench?

InterviewBench 是一个评估大语言模型访谈能力的基准,它考察的是访谈者真正需要的技能,而不只是提问听上去是否流畅。论文由 Shangzhe Dai、Feiyu Duan 和 Zhongyu Wei 发表于 Findings of the Association for Computational Linguistics: EMNLP 2026(2026 年 10 月),代码已公开。

作者把访谈拆解为三项能力:

  1. 信息引导——提出恰当的主问题,并针对回答中有信息量的部分进行追问。
  2. 情境适应——在回答含糊、情绪化、前后矛盾、跑题或拒绝作答时,妥善应对而不打断访谈节奏。
  3. 信息抽取——访谈结束后把对话内容整理成结构化记录。

该基准基于真实的广播访谈记录(INTERVIEW NPR 媒体对话语料库)构建,包含 5,500 道选择题、3,000 道开放生成题和 184 个多轮访谈场景。

研究如何测试 AI 访谈者?

研究设置了两种情境:一种是针对单次访谈决策的静态测试,另一种是与模拟受访者进行完整访谈的动态测试。

测试情境模型要做什么评分内容
静态:选择题从四个选项中选出最合适的下一步动作与真实访谈者动作对比的准确率
静态:有条件生成在被告知要做哪种动作(如"追问")时写出下一轮发言LLM 评审打分,0–100
静态:无条件生成写出下一轮发言,并且必须自己判断该做哪种动作LLM 评审打分,0–100
动态访谈按问卷提纲进行最多 20 轮的访谈,然后填写记录完成度、效率、"已说出的真实信息"、回填准确率、受访者满意度

每个静态任务都涵盖四类访谈行为:主问题提问、追问、回应受访者,以及应对干扰事件。在动态情境中,研究比较了自主程度递增的四种工作流:结构化(按提纲顺序提问)、追问型(对不清楚的回答加入追问)、自适应(在提问、追问和回应之间自行选择)和智能体(还能自行决定如何处理干扰事件以及何时结束访谈)。

哪个 LLM 是最好的访谈者?

在静态测试中,闭源前沿模型领先。根据 Dai、Duan 和 Wei(2026)的结果,Gemini-3.1-Pro-Preview 在全部静态任务中的平均分为 85.1,Claude Sonnet 4.6 为 83.0,均高于 GPT-5.4 的 77.2。表现最好的开源模型是 GLM-5(76.9)、DeepSeek-V4-Pro(74.9)和 Qwen3.5-122B(73.6)。测试中最小的模型,例如 Qwen3-1.7B,得分约为 47。

更有价值的发现在于模型在哪里出错。几乎所有模型在被告知该做哪种动作时,写出的访谈发言都比需要自行判断时更好。换句话说,模型能写出一句好的追问,却不太擅长判断此刻是否需要追问。这一差距在"回应"类选择题上尤为明显:Gemini-3.1-Pro 得分 94.9,而 GPT-4o 仅 12.8、Qwen3-max 仅 12.0,尽管这两个模型在被指定动作后都能写出流畅的回应。

AI 访谈者真的收集到信息了吗?

只收集到一部分。在动态访谈中,几乎所有模型和工作流都问到了提纲中 100% 的问题,但目标答案真正在对话中被说出来的比例——作者称之为"已说出的真实信息"(spoken truth)——要低得多。Gemini-3.1-Pro 的这一指标在 54.4%(智能体)到 65.4%(结构化)之间;Gemma-3-27B 最低只有 39.1%。

作者精确定位了失败环节。一旦受访者确实说出了答案,较强的模型就能以超过 97% 的准确率把它转换为结构化记录。瓶颈在于引出信息:访谈者问了问题,得到一个含糊或不完整的回答,然后就继续往下问了。

给 AI 更多自主权有帮助吗?

没有——在这项基准中,自主权越大,访谈反而越差。结构化和追问型工作流最稳定,在无干扰条件下效率约为 85。智能体工作流的效率降到大约 61–72,而且对每个模型来说,它引出的目标信息都少于结构化工作流。最极端的例子是自适应工作流下的 DeepSeek-V4-Pro,效率只有 32.9,"已说出的真实信息"只有 20.0;作者将这类失败归因于浪费轮次、陷入循环和过早结束。

受访者误解或拒答时会怎样?

访谈依然能完成,但受访者的体验变差了。当作者注入一次干扰事件——误解、拒答或自相矛盾——完成度几乎不变(从 99.94% 到 99.90%),已说出答案的回填准确率也只变化了 0.3 个百分点。然而,模拟受访者的满意度平均下降了 8.9 分。模型只是继续往下问,并没有修复互动。

这项研究有哪些局限?

结果来自模拟受访者,这一点很重要。敏感性测试显示,更换模拟受访者会改变绝对分数(对于结构化工作流下的同一个访谈模型,直接回填准确率随受访者模型不同,在 77.0% 到 86.7% 之间变化),不过各工作流的排名保持一致。原始数据是英语广播访谈,因此并未覆盖临床、招聘、田野调查和跨文化访谈;而且基准只考察文本,忽略了停顿、语气等语音线索。评分也由 LLM 完成,不过作者报告两个评审模型之间一致性很高(有条件生成上的 Pearson 相关为 0.956),并进行了人工审核。

这对使用 AI 访谈者的研究人员意味着什么

实践上的结论是:"AI 把我的问题都问到了"并不能证明数据质量好。四点建议:

  1. 审核回答,而不是覆盖率。在试点 AI 主持的研究时,逐份检查访谈记录,看关键问题是否得到了清晰、具体的回答,而不只是看问题有没有被问到。
  2. 优先选择"结构化 + 追问",而非完全自主。在所有被测模型上,按提纲推进并带有明确追问规则的流程都优于自由发挥的智能体。
  3. 把追问写进提纲。既然模型在被告知该做什么时表现更好,那就明确规定何时追问(例如"如果回答含糊,请对方举一个具体例子"),以发挥它的长处。
  4. 为困难时刻做好准备。拒答和误解很少会让 AI 访谈中断,但会降低受访者体验;在试点中要专门复查这些片段。

如果你正在设置 AI 主持的访谈,QualiTaTi AI 访谈员允许你把追问指令写进访谈提纲,并在分析前审阅每一份访谈记录。

常见问题

什么是 InterviewBench?

InterviewBench 是复旦大学于 2026 年发布的基准,用 5,500 道选择题、3,000 道生成题和 184 个基于真实访谈记录构建的模拟访谈,来评估大语言模型担任访谈者的能力。

在 InterviewBench 中哪个 AI 模型是最好的访谈者?

Gemini-3.1-Pro-Preview 的静态平均分最高(85.1),Claude Sonnet 4.6 紧随其后(83.0)。GLM-5 是最强的开源模型(76.9)。

AI 访谈者擅长追问吗?

在被指示追问时,它们能写出好的追问;但自行判断何时需要追问的能力较弱。这就是在访谈提纲中写明追问规则有帮助的原因。

自主性更强的 AI 访谈者更好吗?

根据这项研究,并非如此。智能体工作流的效率更低,引出的目标信息也少于由提纲主导的结构化工作流。

来源:Dai, S., Duan, F., & Wei, Z. (2026). InterviewBench: Benchmarking Large Language Models as Interviewers. Findings of the Association for Computational Linguistics: EMNLP 2026, 45731–45787.

最后更新:2026 年 10 月 28 日。本文是 Qualitati 研究团队对第三方研究的独立编辑摘要,与论文作者无隶属或背书关系。


免费试用 Qualitati

立即开始 AI 辅助定性研究,无需信用卡。

免费开始
相关文章