简短回答：可以，但有边界。在 2026 年的一项研究中，Ivey 等人构建了 InterviewPlayground：一个让 AI 访谈员与基于理论构建的模拟受访者对话的仿真环境。仿真得分能够预测同样五个 AI 访谈员在 450 名真实受访者中的表现，12 项指标的平均 Pearson 相关系数为 0.86。它最难预测的是受访者的舒适度和整体体验。
最后更新：2026 年 11 月 9 日
\n\n无论是开发还是选购 AI 访谈员，都会遇到同一个难题：一场好的访谈是漫长且不断调整的对话，仅凭一次提问和回答无法判断访谈员的好坏。用真人测试固然可靠，但耗时又昂贵，因此大多数已发表的评估都只基于单一领域的一次小规模试点。模拟受访者是显而易见的捷径，但从未与真实数据比对过的仿真可能会误导人（即 Sim2Real 差距）。预印本论文 InterviewPlayground: A Validated Simulation Environment for Evaluating AI Interviewers 通过一一对应的仿真研究和真人研究，直接检验了这条捷径。
\n\n这项研究要回答的问题是：AI 访谈员在仿真中的得分，能否预测它面对真人时的得分。根据 Ivey、Liang、Wang、Mandell、Xiao 和 Field（约翰斯·霍普金斯大学与 Listen Labs，arXiv 预印本，2026 年 10 月）的报告，研究团队让五个已发表的 AI 访谈员分别完成三项仿真研究，再以同样的 15 种“访谈员 × 主题”组合开展真实的定性研究，共有 450 名受访者参与（每项研究 30 人，每场访谈最长 30 分钟）。
\n\n三个主题均取自已发表的访谈研究：肥胖与体重管理、亚裔美国人的身份认同与政治、以及生成式 AI 在知识工作中的应用。它们在敏感程度和具体程度上各不相同。五个访谈员都基于 GPT-5.4 mini 运行，真人受访者通过 Listen Labs 招募，报酬为每小时 $15。
\n\n每个模拟受访者由一个人设和一个记忆库组成，并受六种源自访谈研究文献的行为特质影响。作者梳理了定性方法研究，找出 20 项会影响访谈进程的受访者特征，并将其归并为六种特质：
\n\n每个受访者拥有 200 条生成的记忆，其中大多数与主题无关，另有六条包含取自原始已发表研究的相关洞见。访谈员提问时，系统检索五条最相关的记忆；对于记忆较弱的受访者，检索过程会加入噪声。这一设计很关键：仿真并不试图猜测真人的想法，而是预先植入已知洞见，再衡量访谈员能否把它们挖掘出来。
\n\n大多数指标的预测效果都很好。作者用 InterviewReportCard 为每场访谈评分。这是一组基于 LLM 评判的指标，涵盖受访者回答、访谈员行为和受访者体验三个维度，另加两项描述性统计。12 项指标中有 10 项在仿真研究与真人研究之间呈强相关（r = 0.74 至 1.00）。
\n\n| 指标 | 衡量内容 | Pearson r（仿真 vs 真人） |
|---|---|---|
| 支持与融洽关系 | 鼓励受访者、建立融洽关系的表述 | 1.00 |
| 引导性问题 | 暗示答案或预设立场的问题 | 0.98 |
| 访谈提纲覆盖率 | 计划子话题中实际谈到的比例 | 0.95 |
| 连贯性 | 问题之间的逻辑衔接与过渡 | 0.95 |
| 平均轮次 | 对话长度 | 0.94 |
| 适应性 | 根据刚才的回答调整提问 | 0.92 |
| 新颖回答 | 提纲之外的相关内容 | 0.90 |
| 不清晰问题 | 令人困惑或含糊的问题 | 0.85 |
| 平均回答长度 | 每条回答的词数 | 0.85 |
| 相关回答量 | 挖掘出的与研究相关内容的总量 | 0.74 |
| 整体体验 | 受访者对访谈的评分 | 0.67 |
| 舒适度 | 感到舒适并受到公平对待的程度 | 0.60 |
每个相关系数只基于 15 对研究，因此置信区间很宽。以整体体验为例，报告的区间为 0.25 至 0.88。改用 Spearman 相关时，访谈员之间的排序结果相近。
\n\n在真实度上，专家无法将二者区分开。三位具有定性研究经验的标注者对 100 个片段进行评分，其中一半来自真人，一半来自仿真。在 4 分制真实度量表上，模拟受访者平均得分 3.51，真人为 3.34，差异不显著（p = 0.28）。专家能从访谈记录中识别出六种预设特质中的五种，唯独识别不出记忆特质；这在意料之中，因为他们看不到记忆库。
\n\n大致与人类编码者相当。在 1,800 条专家判断中，人类标注者之间的一致性为 0.62 至 0.70（Krippendorff's alpha），人类评分中位数与 LLM 评判之间的一致性为 0.60 至 0.80。在提纲覆盖率上，LLM 评判识别的话题集合与人类结果的平均 Jaccard 相似度为 0.69。
\n\n大体可以。作者用七个不同的仿真模型重新运行了仿真研究。Gemini 3.1 Pro 和 Gemini 3.7 Flash 的平均相关系数均为 0.86，Qwen 3.5 4B 在全部指标上的平均值为 0.83。测试中最小的模型 Qwen 3.5 0.8B 降至 0.62。作者建议在早期开发阶段使用小模型，最终评估时再使用更大的模型。
\n\n除了数字之外，仿真访谈记录也呈现出与真人访谈相同的行为模式：
\n\n最后这一差距是论文中最明确的警示：模拟受访者会把真人藏在心里的话直接说出来，因此仿真可能让访谈员显得比实际更体贴。
\n\n这项研究支持一种两阶段的工作流程：先在仿真中测试，再用真人确认。
\n\n利益披露：受测的五个访谈员之一（Liu & Yu, 2025 所描述的系统）由 Qualitati 的创始人提出，也是 Qualitati AI 访谈员的基础。论文正文没有单独报告该访谈员的结果，本文也不对其表现作任何评价。论文作者中有两位来自 Listen Labs，该公司同时负责了受访者招募。
\n\n它是一个开源的仿真环境（以 Python 包形式发布），用于评估 AI 访谈员。访谈员与依据访谈研究中六种特质构建的模拟受访者对话，访谈记录再由 InterviewReportCard 指标进行评分。
\n\n不能。在这项研究中，模拟受访者能很好地预测访谈员行为和回答质量，但对舒适度（r = 0.60）和整体体验（r = 0.67）的预测不够可靠，而且真人表达不适的方式与模拟受访者不同。
\n\n共 450 名受访者，分布在 15 项研究中：五个 AI 访谈员乘以三个主题，每项研究 30 人，每场访谈最长 30 分钟。
\n\n截至 2026 年 11 月，它仍是 arXiv 预印本（第 2 版，2026 年 10 月）。其结论值得关注，但尚未经过同行评审。
\n\n来源：Ivey, J., Liang, A., Wang, A. Y. S., Mandell, M., Xiao, Z., & Field, A. (2026). InterviewPlayground: A Validated Simulation Environment for Evaluating AI Interviewers. arXiv:2610.12023.
\n\n最后更新：2026 年 11 月 9 日。本文是 Qualitati 研究团队对第三方研究的独立编辑摘要，与论文作者无隶属关系，也未获其背书。
\n","related":[{"slug":"structuring-survey-histories-llm-digital-twins-2026","title":"LLM 数字孪生如何组织问卷数据？2026 年研究发现","description":"构建 LLM 数字孪生时，问卷数据该如何组织？芝加哥大学布斯商学院 2026 年研究发现，结构化偏好画像优于原始问卷记录，提升主要体现在定价题上。","category":"AI 用户研究","date":"2026-11-10","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-user-simulators-sim2real-gap-2026","title":"LLM 能模拟真实用户吗？2026 年研究揭示的 Sim2Real 差距","description":"LLM 能模拟真实用户吗？2026 年一项研究对比 451 名真人与 31 个 LLM 用户模拟器，发现合成用户过于配合、评分过于正面。","category":"AI 用户研究","date":"2026-11-06","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"interviewbench-ai-interviewer-llm-benchmark-2026","title":"AI 访谈者能问出真实答案吗？InterviewBench 2026 研究","description":"InterviewBench 测试了 23 个大语言模型担任 AI 访谈者：它们会问完每个问题，却常常无法引出清晰回答。本文总结关键结果及研究人员的应对建议。","category":"AI 用户研究","date":"2026-10-28","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}