第二个 LLM 能抓出第一个的编码错误吗？

Qualitati 研究团队 · 2026-08-28 · 6 分钟阅读

高 F1 分数并不代表 AI 编码是准确的。在 Dunivin、Noori、Frey 与 Atkinson 2026 年的一项研究中，一个对 3,000 封邮件做编码的 LLM，F1 分数落在 0.74 到 1.00 之间，但同一批编码的假阳性率却高达 8% 到 54%。引入第二个 LLM 重新阅读并批判每一个阳性标签后，大部分被牺牲掉的精确率被找了回来。

这项研究测了什么？

研究者测试的是一套两阶段编码流程，而非常见的单次通过做法。第一阶段，一个 LLM 依据人工设计的编码手册对文本编码，并被调校为偏向召回率——把所有可能属于某个编码的内容都抓出来。第二阶段，另一个独立的 LLM「批判者」重新阅读每个阳性标签背后的原始段落，判断该编码是否真的成立。

语料是从 Apache 软件基金会项目评估讨论中抽取的 3,000 封高信息量邮件，依据六个编码进行标注。作者还对 360 个阳性标注（六个编码 × 60 个段落）做了人工审核，以厘清机器究竟错在哪里。

第一遍 AI 编码有多准？

在汇总指标上很准，但在研究者真正会去读的标签层面并不可靠。据 Dunivin 等人（2026）报告，六个编码的首轮 F1 介于 0.74 到 1.00 之间，而同一批编码的假阳性率却从 8% 一路到 54%。在表现最差的编码上，模型标出来的内容大约有一半根本不属于该编码。

这个落差正是关键。F1 把精确率和召回率揉成一个数字，完全可能在某个具体编码的精确率悄悄崩塌时仍然维持体面。如果你接着用模型标注的段落去建构主题，你读到的这堆证据里有相当比例其实是噪音。

第二个 LLM 真的有用吗？

有用，而且在最需要的编码上帮助最大。批判阶段让 F1 提升了 0.04 到 0.25，幅度视编码而定。两个最弱的编码从 0.52 升到 0.69、从 0.55 升到 0.79——这是「该丢弃的编码」和「可以拿来用的编码」之间的差别。

阶段	优化目标	报告结果
阶段一 —— LLM 编码器	召回率（抓出所有候选）	F1 0.74–1.00；假阳性率 8%–54%
阶段二 —— LLM 批判者	精确率（重读并剔除）	F1 提升 0.04–0.25；最弱编码 0.52→0.69、0.55→0.79

这个设计刻意做得很省。批判者只检查已被标为阳性的段落，因此第二遍只触及语料的一小部分，而不是把全部内容重跑一次。

第一遍为什么会过度编码？

对 360 个标注的人工审核揭示了两类反复出现的错误，任何带过新手编码员的人都会觉得眼熟：

误读编码定义。模型对编码手册上的标签理解得比研究者本意更宽松（或更字面），于是把编码延伸到只是表层词汇相似的段落上。
混淆元讨论与真实决策标准。模型把谈论某个标准的人，和实际运用该标准的人编成同一类。在访谈数据里对应的情况是：把受访者的假设性说法——「我想有些人应该会在意价格吧」——当成他本人陈述的理由来编码。

这两种失败都不是换个更强的模型就能解决的。两者都是定义问题，这也正是「被迫回到原文」的批判者能抓到它们的原因：它是拿定义去重新检验段落，而不是去检验自己先前的判断。

这对研究者意味着什么

对任何在真实数据上做 AI 辅助编码的人，有三点推论。

别再把单一一致性统计量当作质量检查。逐个编码报告精确率，而不只是整体 F1 或 kappa。一个假阳性率 54% 的编码，即使身处一次看起来健康的运行之中，它本身也已经坏了。

审核要落到编码层级，而不是语料层级。研究中 8% 到 54% 的差距，是在同一次运行、同一个模型下不同编码之间出现的。需要推断意图的编码会退化；具体、表层可辨识的编码则撑得住。若只是跨所有编码随机抽几个段落来看，这个问题会被完全掩盖。

把召回环节和精确环节拆开。要求同一个模型既穷尽又严格，只会把它推向一个平庸的中间地带。拆成两半，你才能分别调校。如果你用 ThemeLens 做主题分析，务实的做法是：先宽松地生成编码，再在把任何内容提升为主题之前，拿定义去重读被标注的摘录。

这项研究也强化了关于编码手册的一个观点。它的两类错误模式都可以追溯到「对研究者清晰、对模型含糊」的定义。为每个编码同时写下纳入与排除标准——什么不算——只花十分钟，却能消除大量原本要靠批判者去清理的过度编码。

这份证据的边界

语料是开源项目评估的邮件列表文本，不是访谈记录，编码也偏组织性而非经验性。同样的批判增益能否迁移到半结构化访谈数据——那里的意义由迟疑和情境承载——是这项研究没有回答的开放问题。这个结果最好被读作一则关于指标选择的警告，以及一套值得测试的工作流，而不是一条已被验证的定性访谈分析流水线。

常见问题

第二遍 LLM 能修复 AI 编码错误吗？

它能修复其中一类——因编码被过度套用而产生的假阳性。在这项研究中，批判阶段让 F1 提升了 0.04 到 0.25。但它对第一遍完全漏掉的编码毫无帮助，因为批判者只审阅已经被标记出来的段落。

F1 是衡量 AI 定性编码质量的好指标吗？

单独用并不好。这项研究发现 F1 在 0.74 到 1.00 之间的同时，同一批编码的假阳性率最高可达 54%。请逐个编码分别报告精确率和召回率。

哪类编码最容易被 AI 过度套用？

需要判断意图、或需要区分「讨论某个话题」与「实际执行该话题」的编码。人工审核发现模型反复把元讨论与真实决策标准混为一谈。

在哪里可以读到原始论文？

预印本为 Dunivin、Noori、Frey 与 Atkinson（arXiv，2026）的 Self-reflection in Automated Qualitative Coding: Improving Text Annotation through Secondary LLM Critique。

最后更新：2026 年 8 月 28 日。本文是对第三方研究的独立编辑性摘要；QualiTaTi 与论文作者无隶属关系。