LLM 能用访谈记录预测问卷答案吗？2026 年一项研究的检验

Qualitati 研究团队 · 2026-10-12 · 7 分钟阅读

简短回答：部分可以。2026 年发表在《Journal of Educational Data Mining》上的一项研究，把 19 名受访者的访谈记录分别交给 GPT-4.1、Claude 3.7 Sonnet 和 Gemini 2.0 Flash，让模型以每位受访者的身份填写一份 15 题问卷。模型能复现整体作答模式，但答案过于一致、过于极端，也没能还原量表的心理测量结构。

许多混合方法研究会从同一批人身上收集两类数据：一次访谈和一份问卷。研究者随后需要手动把两者对应起来。来自阿肯色大学、怀俄明大学和南卡罗来纳大学的研究团队测试了一条捷径：把受访者的访谈记录交给 LLM，让它按这位受访者的思路回答问卷。如果合成答案与真实答案吻合，说明模型确实从定性数据中提取到了有意义的信息；如果两者出现偏离，这个差距可能指向一道有问题的题目，或一位前后不一致的受访者。本文梳理这项研究测试了什么、发现了什么，以及它对构建基于访谈的人设（persona）或数字孪生意味着什么。

这项研究测试了什么？

研究采用跨模型、提示词和温度参数的完全析因设计，检验基于访谈的 LLM 能否复现个体的问卷作答。根据 Zhang、Liang、Deng、Bonge、Tan、Zhang 和 Zarrett（2026）的报告，数据来自美国东南部参与一项体育活动干预试验的课后项目工作人员，收集时间为 2023 年至 2024 年。共有 19 名工作人员同时完成了一次时长约 15 至 25 分钟的半结构化访谈，以及运动行为调节问卷（BREQ）——一份包含 15 道题、6 点计分、四个动机分量表的量表。

研究设计交叉了三个因素：

模型：OpenAI GPT-4.1、Anthropic Claude 3.7 Sonnet 和 Google Gemini 2.0 Flash。
温度：0（确定性输出）和 0.5。在预实验中，高于 0.5 的设置（如 0.7）产出的内容过于松散，无法得到干净的逐题答案。
提示词内容：由研究背景、题目措辞、受访者访谈记录和人口统计信息组合而成的四种提示词。

由此形成 24 个实验条件。每位受访者每道题生成一个答案，作者共分析了 6,840 条合成作答，并在题目、个人和整份量表三个层面与真人答案进行比较。

哪种提示词效果最好？

包含访谈记录的提示词与真人答案最为一致，在此基础上再加入人口统计信息几乎没有额外帮助。下表按论文报告的结果汇总了四种条件。

提示词	模型看到的内容	平均长度	研究发现
提示词 1（基线）	研究背景 + 问卷题目	1,276 tokens	不同"受访者"的答案几乎相同，方差接近于零
提示词 2	基线 + 访谈记录	中等长度（提示词 2 和 3 平均 5,917 tokens）	与真人答案的相关性更高；Claude 和 GPT 的输出更多样
提示词 3	基线 + 仅人口统计信息	中等长度	仅略优于基线
提示词 4	基线 + 访谈记录 + 人口统计信息	最长（平均 5,952 tokens）	与提示词 2 相当；人口统计信息带来的提升很小

实际含义是：一个人如何讲述自己的经历，比其年龄、性别或种族携带更多信号。这与人设研究中的其他发现一致——单薄的人口统计人设往往会坍缩为刻板印象。

合成答案有多准确？

准确度属于中等水平。研究显示，LLM 生成的答案与真人答案之间的平均相关系数约在 0.5 到 0.73 之间。在所有提示词下，Claude 与真人的相关性都最高，GPT 次之，Gemini 最低。Claude 在题目层面和个人层面的误差也最小。

模型之间的一致性远高于它们与真人的一致性。在各条件下，GPT 与 Claude 的相关系数在 0.92 到 0.95 之间，GPT 与 Gemini 在 0.87 到 0.93 之间，Claude 与 Gemini 在 0.81 到 0.88 之间。因此，模型之间高度一致并不能证明任何一个模型对真人的判断是对的——当有厂商用跨模型一致性来论证效度时，这一点值得牢记。

LLM 在哪些地方出了错？

研究识别出四种失效模式，每一种都与使用合成受访者的研究者息息相关。

方差过小。在所有条件下，LLM 生成答案的方差都远低于真人。模型抓住了平均值，却丢掉了离散程度。
过于极端。真人打分低的题，模型打得更低；真人打分高的题，模型打得更高。作者将其描述为持续偏向极端值。
负面情绪措辞。误差最大的三道题都使用了"羞愧"（ashamed）、"失败"（failure）和"焦躁"（restless）这类词。真人在这些题上给出居中的答案，模型却给出极端答案。
量表结构失真。在整份量表层面（用对 BREQ 四个分量表加权的相对自主指数衡量），只有使用信息更丰富提示词的 Claude 超过了基线。作者的结论是：模型能模仿单题作答模式，却难以还原问卷内部的心理测量关系。

更长的访谈也并不一定有帮助。访谈记录长度与个人层面误差的相关系数为 0.404，p = .086，作者认为这一结果尚无定论，并指出访谈内容的相关性比长度更重要。

这对研究者意味着什么

研究本身的定位就是最有用的启示：基于访谈的 LLM 答案是混合方法中的诊断工具，而不是受访者的替代品。具体可以这样应用：

关注差距，而不只是吻合度。当根据某人访谈生成的合成答案与其问卷答案明显不一致时，标记这道题或这位受访者，进一步核查。论文指出，这类差距可以暴露出未能真实反映人们想法的题目。
让人设扎根于受访者说过的话。如果你在构建数字孪生，访谈记录胜过人口统计素描。像 Digital Twin Panel 这样的工具，只有在每个孪生都锚定于真实定性数据、并用预留答案加以验证时，才最站得住脚。
访谈要覆盖待测构念。既然相关性比长度更重要，一份覆盖你之后要测量的每个构念的访谈提纲，会比一段更长但漫无边际的对话更能喂养好一个孪生。结构化的 AI Interviewer 提纲有助于在不同受访者之间保持一致的覆盖面。
不要把合成方差当真。任何依赖离散程度、子群体差异或量表信度的分析，都应来自真人数据。
报告模型和参数设置。不同模型的结果差异明显，因此请在方法部分写明模型版本、温度和提示词构成。

证据有多强？

这项研究严谨但规模较小。19 名受访者、一份量表、一个群体，以及每个条件只生成一次答案，都限制了结果的可推广性，作者也承认这一点。所测试的模型（GPT-4.1、Claude 3.7 Sonnet、Gemini 2.0 Flash）也已落后当前前沿一代。不过，研究结论的方向与更大规模的合成受访者研究一致：平均值可以逼近，变异性和结构却难以复现。

常见问题

LLM 能否替只接受过访谈的人回答问卷？

能大致复现整体模式。在这项 2026 年的研究中，与真实答案的相关系数约在 0.5 到 0.73 之间，但合成答案比本人的答案变化更少、更趋极端。

人口统计信息能提升 LLM 人设的准确度吗？

在这项研究中作用不大。在访谈记录之外再加入年龄、性别和种族，提升非常有限；主要作用来自访谈记录。

哪个模型表现最好？

Claude 3.7 Sonnet 与真人的相关性最高、误差最小，GPT-4.1 次之，Gemini 2.0 Flash 最低。更新的模型表现可能不同。

我应该用基于访谈的数字孪生替代问卷受访者吗？

不应该。作者将这种方法定位为三角互证定性与定量数据、发现测量问题的手段，而不是替代真人作答。

来源：Zhang, J., Liang, X., Deng, A., Bonge, N., Tan, L., Zhang, L., & Zarrett, N. (2026). Leveraging Interview-Informed LLMs to Model Survey Responses: Comparative Insights from AI-Generated and Human Data. Journal of Educational Data Mining, 18(1), 1–24. 阅读原文。

最后更新：2026 年 10 月 12 日。本文是对第三方研究的独立编辑摘要；Qualitati 与论文作者无隶属关系。