AI 能构建定性编码手册吗？2026 年研究的发现
Qualitati 研究团队 · 2026-08-14 · 9 分钟阅读
简短答案。可以——但有一条硬性界限。在一项 2026 年的研究中，一条 LLM 流水线从 45,000 条消息中构建出一部含 67 个条目的定性编码手册；但当三位人类编码者把它应用到全新数据上时，却发现了五个模型从未浮现出来的完整类别——尽管模型处理的数据量大约是人类阅读量的八倍。
这项研究到底测了什么？
这项研究提出的问题比"AI 能不能做定性编码"更精确。它问的是：编码手册开发的哪些阶段可以交给 LLM，哪些必须由人来完成。
Liu、Sun、Esbenshade、Xiao、Tian、Zhang 与 He（2026）在 2026 年 7 月 30 日发布于 arXiv 的预印本中，记录了一条三阶段的人机协作流水线：他们把扎根理论的开放式编码、主轴编码与选择性编码，改造后用于一个包含 45,000 条消息的语料库——这些消息来自 K-12 教育者与一个生成式 AI 教学平台之间的对话。产出物是一部层级化编码手册。而对这部手册的检验并不是模型的自我一致性，而是三位受训人类编码者在无辅助的情况下，把它应用到模型从未接触过的独立样本上。
三个由 LLM 辅助的阶段
- 开放式编码。Claude 3 Sonnet 对 256 个"三元组"的试点样本进行标注——每个三元组包含教育者的提问、AI 的回复、以及教育者的追问——并以结构化 JSON 返回内容领域、教学策略与所请求的支持类型。两名研究者通读原始输出，手工精修标签词表。
- 主轴编码。语料扩展到 9,352 个三元组，模型可自由生成标签。研究者随机审阅了 1,000 条输出，然后按语义相似性与教学意图对标签聚类——把"differentiated strategies"与"differentiated support"合并，却有意保留"inquiry-based learning"与"project-based learning"的区分。
- 选择性编码。Claude 3.5 Haiku 把此时已封闭的词表应用到 11,539 个新三元组上，只能从既有编码手册类别中选择。这一阶段是对该工具在规模化条件下覆盖度的压力测试。
请注意这一有意的设计取向：作者把 LLM 当作一件标注工具，而非解释主体。这也是他们主张研究中途更换模型并不威胁效度的理由——模型提出候选标签，由人决定哪些能留下来。
人类验证阶段发现了什么？
它发现了规模没能发现的缺口。三位具备教育领域专长的编码者，把含 67 个条目的手册草案应用到随后一年间采集的 500 段对话中抽取的 2,560 条全新消息上。据 Liu 等人（2026）报告，他们新增了五个编码，使该工具从 67 个条目增至 72 个、从 18 个类别增至 19 个：
| 人类新增的编码 | 手册草案为何遗漏了它 |
|---|
| 文化回应式教学 | 出现频率足以自成一个条目，而不该被归入更宽泛的"差异化教学策略"之下 |
| 外语技能发展 | 外语教师的请求具有既有 ELA 编码无法涵盖的独特特征 |
| 课堂管理 | 指的是常规与流程等前置性管理，区别于草案中已有的反应式"学生行为干预" |
| 班级、学校或社区活动 | 集会、家长之夜与校外考察既不属于既有的沟通类编码，也不属于文档类编码 |
| 学区财务 | 来自行政管理者的小众人群——预算与资源配置——在以教学为中心的草案中缺席 |
要读的是模式，而不是这份清单。每一项新增都对应着一类用户人群、一种专业情境，或一段时间内使用方式的演变。而这些恰恰是模型在海量文本采样中会抹平的东西：它们在总量中稀少，却在熟悉该领域的读者眼中自成一体。
人类编码者之间的信度如何？
属于中等水平，作者对此也很坦诚。由于一条教育者消息往往同时承载多个编码——备课加差异化，或测评设计加课标对齐——kappa 这类传统的机遇校正统计量并不适用：它会把两位编码者编码集合之间的部分重叠算作完全不一致。
研究团队改为在经过三轮校准后，于一个 289 条消息的留出集（占验证样本的 11.3%）上报告编码集合之间的Jaccard 相似度。在条目层级，平均两两 Jaccard 为 0.52；视信度评估落在条目、类别还是领域层级，取值范围为 0.46 至 0.55。不一致集中在相邻编码之间的语义边界处，而不在于某条消息是否属于该手册。
这条粒度梯度才是真正有用的方法论要点：在一部含 72 个条目的层级结构中，只报告最细粒度上的单一系数几乎说明不了什么。应在每一个层级上分别报告一致性。
这部工具揭示了人们实际如何使用 AI
2,560 条经人类编码的消息共产生 5,237 次编码应用——大致每条消息两个编码。在领域层级，Liu 等人（2026）报告"教学实践"占比最大（1,913 次，36.5%），其后是"课程与内容焦点"（909 次，17.4%）、"测评与反馈"（603 次，11.5%）、"专业职责"（450 次，8.6%）与"学生需求与情境"（396 次，7.6%）。
真正值得注意的数字是那个残差项：合并了话语延续与非教育性使用的"其他"领域，占到924 次应用，即 17.6%。将近五分之一的已编码内容都是对话维护——换个格式、再展开一点、继续——外加偶发的离题闲聊。任何分析聊天式研究数据的人，都该为它专门留一个编码，而不是当作噪音丢掉。
这对在定性研究中使用 AI 的研究者意味着什么
从这一设计（而不只是结论）中可以引出三条实践含义。
把模型用于广度，而不是概念权威。该论文自己的总结是：模型在结构化标注的一致性上、以及在数万个单元中浮现反复出现的模式上是可靠的——这些任务中它不会疲劳的特性是真实优势。但它在任何阶段都不是类别定义的来源。如果你的工作流让 AI 既生成编码手册又批准它，你就删掉了唯一那个抓出五个缺失类别的环节。像 ThemeLens 这样的工具最好这样使用：让它快速提出一个候选结构，然后你去与它争辩。
有意识地选择分析单元。该语料中有些对话超过 500 条消息，因此作者以相互重叠的三消息窗口来编码，以保持对话语境可见。验证样本中超过 40% 的对话长度超过三条消息。若切分方式把受访者的发言与引发它的内容割裂开来，你就会损失意义——无论你分析的是聊天记录，还是来自 AI 访谈员的访谈记录，这都是现实考量。
为人类验证阶段留出预算；它不是形式主义。在这项研究中，正是这一阶段产出了信度证据、扩展了工具的覆盖面，并逼迫纳入与排除标准写得足够清楚、可以教给他人。一条在选择性编码阶段就停下的流水线，交付的会是一部看似合理、却不具备上述任何依据的编码手册。
值得说明的局限
全部数据来自单一 AI 平台，因此编码手册的领域结构反映的是该平台的用户构成；作者预期结构比具体条目更容易迁移。研究所用的特定商业模型在严格意义上不可复现——真正可推广的是提示词、流程与人类决策节点。人类一致性水平虽然对这一规模的多标签编码而言尚可，但仍有提升空间。此外，该语料捕捉的是教育者向 AI 提出了什么要求，而不是他们随后在课堂上做了什么。
常见问题
LLM 能独立构建一部定性编码手册吗？
它能生成一份可用的草案。在这项研究中，LLM 辅助阶段产出了最终 72 个条目中的 67 个。但人类编码者把该草案应用到未见数据上时，发现了模型漏掉的五个类别，所以草案并不是成品工具。
研究者为何使用 Jaccard 相似度而非 Cohen's kappa？
因为编码者会给同一条消息赋予多个编码。机遇校正系数假定每个单元只有一个标签，会把两位编码者编码集合之间的部分重叠视为完全不一致，从而低估多标签编码中真实存在的趋同。
0.52 的 Jaccard 值算好吗？
对集合型一致性而言，目前没有与 kappa 惯例等价的公认阈值，作者本人也称其尚可但仍可改进。它在此处的解释价值来自那条梯度——一致性从条目层级向类别层级、再向领域层级递升，这把不一致定位在编码边界上，而非定位在"这条消息讲的是什么"这一层面。
分析中途更换 AI 模型会让结果失效吗？
作者认为不会，但有一个特定前提：模型被当作标注工具使用，其输出在进入编码手册之前要经过人的检查与整合。如果模型输出本身被当作研究发现来报告，那么更换模型就会有影响。
原始文献：Liu, A., Sun, M., Esbenshade, L., Xiao, M., Tian, V., Zhang, Z., & He, K. (2026). Human-LLM Collaborative Inductive Coding for Conceptualizing K-12 Educator AI Use. arXiv:2607.28889.
最后更新：2026 年 8 月 14 日。本文是对第三方研究的独立编辑性摘要；Qualitati 与该研究作者没有关联，读者应查阅原始预印本以获取完整的方法学细节。