是的——2025 年的一项研究发现，使用大语言模型（LLM）对定性访谈进行编码，可能引入系统性偏差，而不只是随机误差。ChatGPT 和 Llama 2 在标注访谈记录时，其错误与受访者的特征（如难民身份和孩子的性别）相关，从而扭曲了后续结论。一个基于人工编码训练的小型监督模型，不仅更准确，偏差也小得多。
\n\n该研究探讨的是：LLM 能否可靠地标注来自开放式访谈的大样本定性数据。根据 Ashwin、Chhabra 和 Rao（2025）发表于 Sociological Methods & Research 的研究，作者分析了孟加拉国考克斯巴扎尔地区罗兴亚难民及其孟加拉国东道主的 2,407 份开放式访谈记录。这些访谈围绕父母对长子女的期望展开——这正是定性方法最能发挥价值的那类细腻、需要解释的概念。
\n受过训练的社会学家使用包含 19 个编码的灵活编码方案，人工标注了其中 789 份访谈记录。随后，研究者在 200 份访谈组成的留出测试集上比较了三种方法：直接由 LLM 标注、定制的监督模型，以及作为金标准的人类专家编码。
\n\n研究团队将闭源和开源 LLM 与一个专门构建的分类器进行了基准对比。比较对象包括：
\n在准确度和偏差两方面，定制的监督模型都胜过 LLM。根据 Ashwin、Chhabra 和 Rao（2025），对所有编码的样本外 F1 分数取平均，iQual 表现最佳——在复现人工编码方面优于 ChatGPT 和两个 Llama 2 变体。更引人注目的是偏差检验：作者将每个编码的出现率对受访者特征进行回归，以检验标注错误是否是随机的。
\niQual 仅在 19 个编码中的 1 个上显示出偏差迹象。LLM 未能通过偏差检验的情况则多得多，在许多编码上都有明显的偏差证据。由于这些错误与受访者是谁相关，它们不是可以相互抵消的噪声，而是系统性的扭曲。
\n\n| 方法 | 相对准确度（平均 F1） | 被标记存在偏差的编码数（共 19 个） |
|---|---|---|
| iQual（监督模型，基于人工编码训练） | 所有方法中最佳 | 1 |
| ChatGPT（GPT-3.5） | 低于 iQual | 较多 |
| Llama 2 13B（chat / base） | 低于 iQual | 较多 |
来源：Ashwin、Chhabra & Rao（2025），Sociological Methods & Research。“较多”反映的是论文在众多编码上发现了明显的偏差证据；具体数量因模型而异。
\n\n有偏差的编码可能颠覆一项研究的结论。作者表明，基于 LLM 标注得出的估计有时与基于人工编码得出的估计不一致——在若干情况下，专家标注下为正且显著的关系，在 ChatGPT 标注下变成了负向或不显著。仅依赖 LLM 输出的研究者，可能会报告与数据真实情况相反的结论，把算法造成的假象误认为现实世界中的规律。
\n这不同于人们熟悉的“AI 只是不够准确”的担忧。随机误差主要是增加噪声。而与受访者人口特征相关的系统性偏差，则可能悄悄制造——或抹去——定性研究和混合方法研究者最关心的群体差异。
\n\n作者建议基于人工编码训练一个定制模型，而不是直接用 LLM 进行标注。他们的理由很务实：仅仅为了检验 LLM 是否存在偏差，你就已经需要一批高质量的人工标注，因此不如把这些标注用来训练一个更小、偏差更低的监督分类器。他们将 LLM 和自然语言处理（NLP）定位为辅助和扩展传统定性分析的工具，而不是取代对访谈记录的细读——正是这种细读才能产出站得住脚的编码树。
\n对于今天正在进行 AI 辅助分析的团队，可以得出以下具体启示：
\n这正是 AI 定性工具应当围绕可审计、可由人工复核的编码手册来构建的原因。在 ThemeLens 中，AI 建议的主题和编码始终可编辑，并可追溯到访谈记录，研究者因此可以验证并纠正机器的解读，而不是盲目接受。在 QDA 工作区中扩大开放式编码时，同样的原则适用：AI 提出建议，研究者做出决定。
\n\n不一定，但风险真实存在且不易察觉。2025 年的这项研究发现，LLM 的标注错误在许多编码上与受访者特征存在系统性关联，而基于人工编码训练的监督模型仅在 19 个编码中的 1 个上存在偏差。最稳妥的假设是：在你检验之前，偏差就是可能存在的。
\n\n将 AI 编码与人工编码的样本进行比较，然后检验分歧是否与受访者属性（年龄、性别、群体归属）相关，而不是随机分布。如果错误按子群体聚集，你的后续估计可能已经被扭曲。
\n\n在这项研究中，是的。一个在专家标注上微调的轻量级监督分类器取得了最佳的平均 F1 和最低的偏差，在这项编码任务上，两方面都优于 ChatGPT 和 Llama 2。
\n\n不必——作者将 LLM 定位为助手而非替代者。用它们加快编码、提出候选编码，但要在流程中保留人工阅读、金标准样本和明确的偏差检验。
\n\n\n\n最后更新：2026-07-28。
\n本文是对第三方研究的独立编辑性摘要，与该研究作者无关联，亦未获其认可。
\n","related":[{"slug":"ai-conversational-interviewing-2026-study","title":"AI 能做研究访谈吗？2026 年实地研究结果","description":"AI 能做研究访谈吗？2026 年一项 571 人实地研究比较了 AI 语音访谈、文字访谈与标准化问卷的效果。","category":"指南","date":"2026-07-31","readTime":"8 分钟阅读","author":"Qualitati 研究团队"},{"slug":"digital-twins-survey-respondents-2026-study","title":"数字孪生能取代问卷受访者吗？2026年研究结论","description":"哥伦比亚商学院 2026 年研究发现，在 164 项结果指标上，LLM 数字孪生与真实问卷回答的相关系数仅为 r = 0.20：它们是哈哈镜，而非替代品。","category":"指南","date":"2026-07-29","readTime":"8 分钟阅读","author":"Qualitati 研究团队"},{"slug":"best-llm-thematic-analysis-reliability-study","title":"哪个 LLM 最擅长主题分析？2026 年信度研究解读","description":"2025 年 12 月的一项研究让 Gemini 2.5 Pro、GPT-4o 与 Claude 3.5 Sonnet 各运行六次做主题分析，用 Cohen’s kappa 与余弦相似度测量评分者间信度，三者均超过 0.80 的优秀阈值，Gemini 以 0.907 领先。本文解读研究设计、结果与对定性研究者的启示。","category":"指南","date":"2026-07-27","readTime":"8 分钟阅读","author":"Qualitati 研究团队"}]}