研究方法论

不同 LLM 会写出同一份编码手册吗?8 个模型的审计(2026)

Qualitati 研究团队

2026-11-17

7 分钟阅读


不同的大语言模型会写出同一份定性编码手册吗?不会。Tamme、Hantel 及其合作者在 2026 年 11 月发布的一项审计中,让来自 5 家厂商的 8 个模型使用相同的访谈样本和相同的指令。每个模型构建的类别体系都不一样。各模型在自身多次运行之间编码高度一致(Krippendorff's alpha 为 .76 至 .92),但在同一份共享编码手册上,模型之间的一致性只有约 .69。

如果你在对访谈或开放式问卷回答编码之前,让 LLM 先起草编码手册,这个差距就值得重视。下文介绍这项研究测试了什么、发现了什么,以及如何在自己的项目中做类似的检查。

这项研究测试了什么?

研究检验的是:生成编码手册的模型,是否会改变研究者最终得到的编码证据。大多数 LLM 编码基准会给模型一份固定的编码手册,再评估它的应用效果。这篇论文往前看了一步:类别最初由谁来写。

根据这篇预印本(Tamme、Hantel 等,2026,arXiv:2611.19872),来自慕尼黑工业大学和 MIT 的研究者使用了:

  • 来自同一机构内某 AI 主持访谈平台 6 个部署项目的 668 场访谈,切分为 13,166 个固定文本单元。
  • 来自 5 家厂商的 8 个模型:4 个 Anthropic 模型(Opus 4.8、Sonnet 5、Haiku 4.5、Fable 5),以及 GPT-4.1、Gemini 2.5 Pro、Grok 4.5 和 DeepSeek v4-pro。
  • 48 份编码手册(每个模型每个主题一份),每份都基于每个主题中相同的 15 场随机抽取的访谈。
  • 270 次编码运行:每个模型用自己的编码手册对全部单元编码三次,再用 Opus 写的共享参考编码手册编码三次。

作者将这套流程称为定性变异审计框架(Qualitative Variance Audit Framework,QVAF)。

LLM 生成的编码手册差异有多大?

在细粒度、覆盖率和测量类型上差异都很大。平均而言,GPT-4.1 每个主题生成 15.0 个实质子代码,而 Fable 5 生成 24.8 个,DeepSeek v4-pro 生成 25.0 个。

代码更多并不意味着更多数据被编码。GPT-4.1 编码的单元比例最低(.606),但两个最细的模型 DeepSeek(.663)和 Fable(.700)仍低于 Opus(.741)和 Sonnet(.745)。

各模型对哪些代码属于有序代码(带有先后等级的代码,例如工作量从低到高)也意见不一。在德语的员工敬业度主题上,Haiku 把 16 个子代码中的 15 个声明为有序代码,而 DeepSeek 的 27 个子代码一个都没有声明为有序。作者提醒,不加检查地接受这些声明,会把模型特有的测量决定带进分析。

论文中的一个例子:在团队例会中的工作量这一主题上,Opus 把话题拆成多个子代码(可持续性、工作时长、工作量来源、受保护时间与恢复、压力或精力),而 GPT-4.1 只用了三个更宽泛的子代码。同样的访谈,用不同的编码工具会支持不同的结论。

AI 编码在模型内部和模型之间的信度如何?

每个模型与自己高度一致,但与其他模型的一致性低得多。下表概括了论文的表 4。信度为三次运行的 Krippendorff's alpha(采用 MASI 距离,可处理一个单元带多个代码的情况)。

模型平均子代码数覆盖率Alpha(自有编码手册)Alpha(共享编码手册)
Opus 4.8(参考)22.2.741.861.861
Sonnet 522.0.745.861.843
Haiku 4.517.5.670.804.819
Fable 524.8.700.917.909
GPT-4.115.0.606.837.838
Gemini 2.5 Pro17.3.657.798.821
Grok 4.523.5.681.831.856
DeepSeek v4-pro25.0.663.764.782

当 8 个模型都使用 Opus 写的同一份编码手册时,它们之间的一致性在 6 个主题上介于 .661 和 .724 之间,明显低于任何一个模型与自身的一致性。换句话说,单个模型可以给出非常稳定的答案,而另一个模型却无法复现。

另有两点值得注意:

  • 模型用自己的编码手册并不编得更好。自有减共享的差值在 -.024 到 +.018 之间,7 个非参考模型中有 5 个在共享编码手册上反而略微更一致。
  • 厂商只能解释一部分差异。4 个 Anthropic 模型彼此一致性约为 .71,其他厂商的 4 个模型约为 .68。两者都低于模型内部信度。作者提醒,该设计无法分离厂商效应,部分原因是共享编码手册本身出自 Anthropic 模型。

用多个模型做审计要花多少钱?

与只凭单一模型的类别下结论相比,编码本身很便宜。按研究期间记录的 token 数和公开价格,对 1,000 个单元编码一次,GPT-4.1 约需 US$0.54,Fable 5 最高约需 US$8.96。作者指出部分数字是下限,而且成本与效度无关。

如何审计 AI 生成的编码手册:八个步骤

任何依赖明确编码手册的项目都可以复用 QVAF 流程。简要如下:

  1. 固定审计语料。定义主题和排除条件,只切分一次文本并冻结单元编号。
  2. 统一生成输入。给每个模型相同的访谈样本、提示词和输出格式。
  3. 生成编码手册。要求每个代码都有标签、定义、纳入与排除规则、示例,以及名义或有序的声明。
  4. 设定比较条件。将每个模型的自有编码手册与一份事先选定的共享参考编码手册配对。
  5. 重复编码语料。每种条件运行多次,并记录设置、重试和失败的输出。
  6. 评估表征与一致性。并列比较编码手册规模、有序代码比例、覆盖率,以及模型内部和模型之间的信度。
  7. 测量离散度。在共享编码手册内,报告代码使用的分布情况(熵、有效代码数、最大代码占比)。
  8. 解释并记录。把差异与你的实质性结论联系起来,并标记出需要人工复核的内容。

作者强调,第 6 和第 7 步中的任何单一数字都不应被当作整体质量。代码更多可能意味着过度碎片化,高覆盖率可能来自模糊的类别,高熵也可能与低一致性同时出现。

这对研究者意味着什么

如果由 LLM 起草你的编码手册,选哪个模型就是一个方法论决定,应当像方法论决定一样报告。论文给出的实用建议:

  • 在把编码频次当作研究发现之前,至少比较两种明显不同的模型配置。
  • 报告编码手册的来源:模型、设置、构建所用的样本和日期。
  • 阅读代码定义和被编码的原文片段,而不只是看信度分数。一个标签可以被稳定地使用,但概念划分仍可能不好。
  • 把模型内部的高一致性视为稳定的信号,而不是正确的证明。

作者也明确列出了研究的局限。研究没有人工参考分析,因此无法判断哪份编码手册最好。每个模型在每个主题上只生成了一份编码手册。不同服务商之间的采样和推理设置并不相同。数据来自同一机构的 AI 主持访谈,且以英文为主。这篇论文是预印本,尚未经过同行评审。

ThemeLens 等工具让研究者掌控编码手册,你可以在应用之前审阅和修改生成的代码。如果你的数据来自 AI 访谈员(与本研究的数据来源相同),同样的审计思路也适用于分析阶段。

常见问题

让 LLM 生成定性编码手册安全吗?

它可以作为有用的初稿,但这项研究表明,换一个模型很可能会得到一套不同的类别。请亲自审阅定义,并在报告发现之前,用第二个模型或人工编码员核对结果。

评分者间信度高是否意味着 AI 编码准确?

不是。信度衡量的是一致性,而不是正确性。在这项研究中,同一模型的重复运行一致性最高达 .917,而不同模型在同一份编码手册上的一致性只有约 .69。

这适用于反思性主题分析吗?

不直接适用。该框架属于编码信度传统,在这一传统中,明确的编码手册和编码员间一致性是质量标准。反思性主题分析并不把一致性作为质量标准。

哪个 LLM 最适合定性编码?

研究没有给出答案。它不对编码手册质量排名,作者也表示,结果描述的是所记录的模型配置,而不是采购建议。

最后更新:2026-11-18。本文是对 Tamme、Hantel 及其合作者(2026)第三方研究的独立编辑摘要,与作者无关联,也未获作者背书。完整方法与结果请参阅原始论文。


免费试用 Qualitati

立即开始 AI 辅助定性研究,无需信用卡。

免费开始