AI 定性编码有偏差吗？2025 年一项研究的发现

Qualitati 研究团队 · 2026-07-28 · 8 分钟阅读

是的——2025 年的一项研究发现，使用大语言模型（LLM）对定性访谈进行编码，可能引入系统性偏差，而不只是随机误差。ChatGPT 和 Llama 2 在标注访谈记录时，其错误与受访者的特征（如难民身份和孩子的性别）相关，从而扭曲了后续结论。一个基于人工编码训练的小型监督模型，不仅更准确，偏差也小得多。

这项研究测试了什么？

该研究探讨的是：LLM 能否可靠地标注来自开放式访谈的大样本定性数据。根据 Ashwin、Chhabra 和 Rao（2025）发表于 Sociological Methods & Research 的研究，作者分析了孟加拉国考克斯巴扎尔地区罗兴亚难民及其孟加拉国东道主的 2,407 份开放式访谈记录。这些访谈围绕父母对长子女的期望展开——这正是定性方法最能发挥价值的那类细腻、需要解释的概念。

受过训练的社会学家使用包含 19 个编码的灵活编码方案，人工标注了其中 789 份访谈记录。随后，研究者在 200 份访谈组成的留出测试集上比较了三种方法：直接由 LLM 标注、定制的监督模型，以及作为金标准的人类专家编码。

他们比较了哪些模型？

研究团队将闭源和开源 LLM 与一个专门构建的分类器进行了基准对比。比较对象包括：

ChatGPT（GPT-3.5）——闭源模型，通过提示词让其对每份访谈记录编码并解释理由。
Llama 2 13B（chat 版和 base 版）——Meta 的开源模型，使用相同方式提示。
iQual——在人工标注上微调的定制监督分类器（轻量级 BERT 系列模型）。

AI 编码的准确度和偏差如何？

在准确度和偏差两方面，定制的监督模型都胜过 LLM。根据 Ashwin、Chhabra 和 Rao（2025），对所有编码的样本外 F1 分数取平均，iQual 表现最佳——在复现人工编码方面优于 ChatGPT 和两个 Llama 2 变体。更引人注目的是偏差检验：作者将每个编码的出现率对受访者特征进行回归，以检验标注错误是否是随机的。

iQual 仅在 19 个编码中的 1 个上显示出偏差迹象。LLM 未能通过偏差检验的情况则多得多，在许多编码上都有明显的偏差证据。由于这些错误与受访者是谁相关，它们不是可以相互抵消的噪声，而是系统性的扭曲。

方法	相对准确度（平均 F1）	被标记存在偏差的编码数（共 19 个）
iQual（监督模型，基于人工编码训练）	所有方法中最佳	1
ChatGPT（GPT-3.5）	低于 iQual	较多
Llama 2 13B（chat / base）	低于 iQual	较多

来源：Ashwin、Chhabra & Rao（2025），Sociological Methods & Research。“较多”反映的是论文在众多编码上发现了明显的偏差证据；具体数量因模型而异。

为什么有偏差的编码会影响你的研究发现？

有偏差的编码可能颠覆一项研究的结论。作者表明，基于 LLM 标注得出的估计有时与基于人工编码得出的估计不一致——在若干情况下，专家标注下为正且显著的关系，在 ChatGPT 标注下变成了负向或不显著。仅依赖 LLM 输出的研究者，可能会报告与数据真实情况相反的结论，把算法造成的假象误认为现实世界中的规律。

这不同于人们熟悉的“AI 只是不够准确”的担忧。随机误差主要是增加噪声。而与受访者人口特征相关的系统性偏差，则可能悄悄制造——或抹去——定性研究和混合方法研究者最关心的群体差异。

作者提出了哪些建议？

作者建议基于人工编码训练一个定制模型，而不是直接用 LLM 进行标注。他们的理由很务实：仅仅为了检验 LLM 是否存在偏差，你就已经需要一批高质量的人工标注，因此不如把这些标注用来训练一个更小、偏差更低的监督分类器。他们将 LLM 和自然语言处理（NLP）定位为辅助和扩展传统定性分析的工具，而不是取代对访谈记录的细读——正是这种细读才能产出站得住脚的编码树。

对于今天正在进行 AI 辅助分析的团队，可以得出以下具体启示：

保留一份人工编码的金标准集。没有它，你根本无法检测偏差。
不仅检查准确度，还要做偏差检验。检验编码错误是否与受访者特征相关，而不只是看整体一致性是否很高。
优先采用人在回路的核验，而不是未经审核的批量自动编码，尤其是在需要解释或与身份相关的构念上。

这正是 AI 定性工具应当围绕可审计、可由人工复核的编码手册来构建的原因。在 ThemeLens 中，AI 建议的主题和编码始终可编辑，并可追溯到访谈记录，研究者因此可以验证并纠正机器的解读，而不是盲目接受。在 QDA 工作区中扩大开放式编码时，同样的原则适用：AI 提出建议，研究者做出决定。

常见问题

AI 总是会给定性编码带来偏差吗？

不一定，但风险真实存在且不易察觉。2025 年的这项研究发现，LLM 的标注错误在许多编码上与受访者特征存在系统性关联，而基于人工编码训练的监督模型仅在 19 个编码中的 1 个上存在偏差。最稳妥的假设是：在你检验之前，偏差就是可能存在的。

我如何检查自己的 AI 编码是否有偏差？

将 AI 编码与人工编码的样本进行比较，然后检验分歧是否与受访者属性（年龄、性别、群体归属）相关，而不是随机分布。如果错误按子群体聚集，你的后续估计可能已经被扭曲。

定制模型真的比前沿 LLM 更好吗？

在这项研究中，是的。一个在专家标注上微调的轻量级监督分类器取得了最佳的平均 F1 和最低的偏差，在这项编码任务上，两方面都优于 ChatGPT 和 Llama 2。

我应该停止在定性分析中使用 LLM 吗？

不必——作者将 LLM 定位为助手而非替代者。用它们加快编码、提出候选编码，但要在流程中保留人工阅读、金标准样本和明确的偏差检验。

阅读原论文：“Using Large Language Models for Qualitative Analysis can Introduce Serious Bias”（Ashwin, Chhabra & Rao，Sociological Methods & Research，2025）。

最后更新：2026-07-28。

本文是对第三方研究的独立编辑性摘要，与该研究作者无关联，亦未获其认可。