高 F1 分数并不代表 AI 编码是准确的。在 Dunivin、Noori、Frey 与 Atkinson 2026 年的一项研究中，一个对 3,000 封邮件做编码的 LLM，F1 分数落在 0.74 到 1.00 之间，但同一批编码的假阳性率却高达 8% 到 54%。引入第二个 LLM 重新阅读并批判每一个阳性标签后，大部分被牺牲掉的精确率被找了回来。
\n\n研究者测试的是一套两阶段编码流程，而非常见的单次通过做法。第一阶段，一个 LLM 依据人工设计的编码手册对文本编码，并被调校为偏向召回率——把所有可能属于某个编码的内容都抓出来。第二阶段，另一个独立的 LLM「批判者」重新阅读每个阳性标签背后的原始段落，判断该编码是否真的成立。
\n语料是从 Apache 软件基金会项目评估讨论中抽取的 3,000 封高信息量邮件，依据六个编码进行标注。作者还对 360 个阳性标注（六个编码 × 60 个段落）做了人工审核，以厘清机器究竟错在哪里。
\n\n在汇总指标上很准，但在研究者真正会去读的标签层面并不可靠。据 Dunivin 等人（2026）报告，六个编码的首轮 F1 介于 0.74 到 1.00 之间，而同一批编码的假阳性率却从 8% 一路到 54%。在表现最差的编码上，模型标出来的内容大约有一半根本不属于该编码。
\n这个落差正是关键。F1 把精确率和召回率揉成一个数字，完全可能在某个具体编码的精确率悄悄崩塌时仍然维持体面。如果你接着用模型标注的段落去建构主题，你读到的这堆证据里有相当比例其实是噪音。
\n\n有用，而且在最需要的编码上帮助最大。批判阶段让 F1 提升了 0.04 到 0.25，幅度视编码而定。两个最弱的编码从 0.52 升到 0.69、从 0.55 升到 0.79——这是「该丢弃的编码」和「可以拿来用的编码」之间的差别。
\n\n| 阶段 | 优化目标 | 报告结果 |
|---|---|---|
| 阶段一 —— LLM 编码器 | 召回率（抓出所有候选） | F1 0.74–1.00；假阳性率 8%–54% |
| 阶段二 —— LLM 批判者 | 精确率（重读并剔除） | F1 提升 0.04–0.25；最弱编码 0.52→0.69、0.55→0.79 |
这个设计刻意做得很省。批判者只检查已被标为阳性的段落，因此第二遍只触及语料的一小部分，而不是把全部内容重跑一次。
\n\n对 360 个标注的人工审核揭示了两类反复出现的错误，任何带过新手编码员的人都会觉得眼熟：
\n这两种失败都不是换个更强的模型就能解决的。两者都是定义问题，这也正是「被迫回到原文」的批判者能抓到它们的原因：它是拿定义去重新检验段落，而不是去检验自己先前的判断。
\n\n对任何在真实数据上做 AI 辅助编码的人，有三点推论。
\n别再把单一一致性统计量当作质量检查。逐个编码报告精确率，而不只是整体 F1 或 kappa。一个假阳性率 54% 的编码，即使身处一次看起来健康的运行之中，它本身也已经坏了。
\n审核要落到编码层级，而不是语料层级。研究中 8% 到 54% 的差距，是在同一次运行、同一个模型下不同编码之间出现的。需要推断意图的编码会退化；具体、表层可辨识的编码则撑得住。若只是跨所有编码随机抽几个段落来看，这个问题会被完全掩盖。
\n把召回环节和精确环节拆开。要求同一个模型既穷尽又严格，只会把它推向一个平庸的中间地带。拆成两半，你才能分别调校。如果你用 ThemeLens 做主题分析，务实的做法是：先宽松地生成编码，再在把任何内容提升为主题之前，拿定义去重读被标注的摘录。
\n这项研究也强化了关于编码手册的一个观点。它的两类错误模式都可以追溯到「对研究者清晰、对模型含糊」的定义。为每个编码同时写下纳入与排除标准——什么不算——只花十分钟，却能消除大量原本要靠批判者去清理的过度编码。
\n\n语料是开源项目评估的邮件列表文本，不是访谈记录，编码也偏组织性而非经验性。同样的批判增益能否迁移到半结构化访谈数据——那里的意义由迟疑和情境承载——是这项研究没有回答的开放问题。这个结果最好被读作一则关于指标选择的警告，以及一套值得测试的工作流，而不是一条已被验证的定性访谈分析流水线。
\n\n它能修复其中一类——因编码被过度套用而产生的假阳性。在这项研究中，批判阶段让 F1 提升了 0.04 到 0.25。但它对第一遍完全漏掉的编码毫无帮助，因为批判者只审阅已经被标记出来的段落。
\n单独用并不好。这项研究发现 F1 在 0.74 到 1.00 之间的同时，同一批编码的假阳性率最高可达 54%。请逐个编码分别报告精确率和召回率。
\n需要判断意图、或需要区分「讨论某个话题」与「实际执行该话题」的编码。人工审核发现模型反复把元讨论与真实决策标准混为一谈。
\n预印本为 Dunivin、Noori、Frey 与 Atkinson（arXiv，2026）的 Self-reflection in Automated Qualitative Coding: Improving Text Annotation through Secondary LLM Critique。
\n\n最后更新：2026 年 8 月 28 日。本文是对第三方研究的独立编辑性摘要；QualiTaTi 与论文作者无隶属关系。
","related":[{"slug":"ai-chatbot-qualitative-interviews-lessons-2026","title":"AI 聊天机器人访谈仅需 €0.04？一项 2026 年研究的启示","description":"AI 聊天机器人能取代定性访谈员吗？一项 2026 年研究分析了 74 场机器人主持的访谈，发现数据收集成本低、参与度高，但深度有限。","category":"研究方法论","date":"2026-10-06","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-inductive-content-analysis-survey-responses-2026","title":"GPT-5 能做问卷文本的归纳式内容分析吗？2026 年研究","description":"GPT-5 能做归纳式内容分析吗？一项 2026 年研究分析了 903 条问卷回答，发现人机一致性为中等（编码 ARI 0.61、主题 0.54），且因题目而异。","category":"研究方法论","date":"2026-10-05","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-human-surrogates-item-mean-personas-2026","title":"更丰富的人设能让 LLM 成为人类替身吗？2026 年研究检验","description":"一项覆盖逾 400,000 名参与者的 2026 年研究发现：LLM 人类替身能复现题目均值，却只能解释 3.05% 的个体差异，更丰富的人设也无济于事。","category":"研究方法论","date":"2026-10-01","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}