LLM 编码开放式问卷回答能胜过人工吗？2026 年研究

在问卷里加一道开放式问题几乎没有成本，分析起来却很昂贵，因此许多数据集中的文本栏从未被编码。社会学家 Ansgar Hudde 与 Shannon Taflinger 的一篇新 ECONtribute 工作论文检验了 LLM 能否填补这一空白，并进一步检验：用 LLM 编码，是否会让研究者得出与人工编码不同的实质性结论。

这项研究测试了什么？

研究在一个贴近真实、复杂度中等的编码任务上，比较了 LLM 与受过训练的学生编码员。数据来自一项配额代表性问卷，受访者为 1,419 名 20–33 岁的美国人，问卷请他们谈谈与对立党派的人约会时的"理由、想法、感受"等思考。

根据 Hudde 和 Taflinger（2026）的描述，研究流程分为六步：

1. 人工构建编码手册。研究者进行主题式定性文本分析，得到 4 个类别下的 15 个编码：不愿意、视情况而定、愿意和其他。
2. 建立基准。两位研究者人工编码了全部回答，作为参照标准。
3. 人与机器分别编码。两名硕士学生助理和八个 LLM 拿到的书面说明基本相同。
4. 加入训练数据。每个模型再运行一次，额外提供 200 条随机抽取的人工编码示例。
5. 按模糊程度拆分。按人工编码员是否一致、以及按单个编码分别报告结果。
6. 检验实质性结论。用每一套编码去预测同一问卷中约会资料实验里的行为。

参与测试的模型包括 OpenAI 的 GPT-5 nano、GPT-5 mini 和 GPT-5.2，Anthropic 的 Claude 4.5 Haiku、Sonnet 和 Opus，以及 Mistral Small 4 和 Large 3，全部通过 API 在 R 中调用。

LLM 与人工编码员相比准确度如何？

最好的 LLM 胜过了学生，最小的模型则输给了学生。论文以与研究者基准之间的 Cohen's kappa 衡量准确度。两名学生助理分别为 0.65 和 0.66，而他们彼此之间的一致性只有 0.60。

• Claude 4.5 Opus 得分最高，kappa 为 0.72，其次是 Claude 4.5 Sonnet，为 0.71。
• GPT-5.2 同样显著优于两名学生。
• Mistral Large 3 得分高于学生，但差异不具统计显著性。
• GPT-5 nano 和 Mistral Small 4 明显差于学生。

在每家厂商内部规律都一致：模型越先进，编码越准确。作者的结论是，选哪一档模型比选哪家厂商更重要。

给 LLM 提供示例有帮助吗？

有。加入 200 条人工编码示例后，几乎所有模型都有提升，一些较便宜的模型在有示例时甚至超过了没有示例的更先进模型。唯一的例外是最弱的 GPT-5 nano，它没有提升，说明有些模型对这项任务来说就是太小了。

提升并不均匀。训练数据对模糊回答、以及模型起初表现最差的编码帮助最大。作者认为，训练数据的作用是让整本编码手册上的表现更稳定，而不是让每个编码都同等提升。加入示例后，Mistral Large 3 也明显超过了学生。

LLM 在哪里会编错？

LLM 往往在人也会出错的回答上出错。在两名学生都与基准一致的 55.6% 回答上，LLM 的一致率非常高；在至少一名学生出现分歧的 44.4% 回答上，LLM 的准确度也较低。

这对效度检验很重要。LLM 的错误集中在模糊文本上，而这正是人工审核本就会重点查看的地方，并非随机散布。三个表现最好的模型（GPT-5.2、Claude Sonnet 4.5 和 Opus 4.5）在任何单个编码上都没有明显差于两名学生，这排除了最糟糕的情况，即模型悄悄漏掉某一整个类别。

LLM 编码会改变你的研究结论吗？

在这项研究中，不会。这可以说是论文最有价值的检验。按基准编码，被编为"不愿意"的受访者对约会资料中的政治立场不一致反应强烈，"视情况而定"的受访者反应中等，"愿意"的受访者几乎没有反应。无论编码来自研究者、学生还是 LLM，这些估计的反应几乎完全相同。Hudde 和 Taflinger 报告说，就这个研究问题而言，即便是中档模型，其编码的预测效度也与人工编码相当。

LLM 编码要花多少钱？

金钱成本很低，主要成本是研究者的时间。在不提供训练数据的情况下，编码全部回答的费用约为：

来源：Hudde & Taflinger（2026），每批 10 条回答，无训练数据。"未单独比较"指论文正文没有将该模型与学生直接比较。

分批是最主要的成本杠杆。以 Claude Sonnet 4.5 为例，每次调用只发一条回答，费用约 $7.00，耗时约 60 分钟；每批 10 条，费用约 $1，耗时不到 10 分钟。加入训练数据后，Sonnet 的费用从约 $1 升至约 $3。作者估计，编码 10,000 条类似回答的费用从不到一美元到几十美元不等。

LLM 编码的可复现性如何？

可复现性不错，但并不完美，而且取决于厂商。Anthropic 和 Mistral 的模型支持 temperature 设为零，重复运行时超过 99% 的回答得到相同编码。GPT-5 系列不支持 temperature 为零；三次运行中，GPT-5.2 的两两一致性在 92% 到 94% 之间。因此作者认为 Anthropic 和 Mistral 是可复现性更好的选择。

这对研究者意味着什么

这项研究支持的是分工，而不是完全自动化。解释性的工作由研究者亲自完成：阅读数据、进行主题分析、构建编码手册；随后由 LLM 大规模套用定稿的编码方案。论文的建议包括：

• 先人工制定编码手册。作者预计，在类似的案例中至少需要阅读几百条回答，直到不再出现新的类别。
• 解释性编码请使用各厂商较强的模型。在本研究中，最便宜的一档不够用。
• 默认提供约 200 条人工编码示例。与准确度的提升相比，额外成本很小。
• 在自己的数据上验证。随机抽取约 200 条回答人工编码，计算其与 LLM 输出的 kappa，并随机阅读一批已编码回答，查找系统性错误。
• 尽量少上传数据。作者删除了可识别身份的信息，只发送回答文本和新生成的随机 ID；在数据保护最为关键时，建议使用 Mistral 或机构自托管的模型。
• 样本超过约 1,000 条时收益最大。样本较小时，人工编码可能仍更高效。

作者自己也指出了一个重要局限：这只是一项任务，使用英语、一个美国人群和一个团队的编码手册。换成其他文本类型、语言或编码方案，表现可能不同；基准本身也反映的是单个研究团队的判断。

如果你在对话式问卷中收集开放式回答，QualiTaTi AI 问卷这类工具会把文本与每份回答的其他内容放在一起。对于论文描述的"先定编码手册、再规模化套用"的流程，ThemeLens 可以让你对照自己的编码方案审阅和修改 AI 建议的编码。关于信度指标的背景，可参阅我们的AI 编码的编码者间信度指南。

常见问题

ChatGPT 或 Claude 能取代人工来编码开放式问卷问题吗？

在套用现成、定义清晰的编码手册方面，本研究中最强的模型达到或超过了受过训练的学生编码员。但它们并没有取代设计编码手册的研究者：编码手册的制定和输出的验证仍由人完成。

LLM 编码应达到多少 kappa？

论文没有给出通用阈值。作为参照，本研究中受过训练的学生编码员与基准的 kappa 为 0.65–0.66，最好的模型为 0.72。请把你的 LLM 的 kappa 与人工编码员在你自己数据上的表现进行比较。

应该给模型提供多少条人工编码示例？

研究使用了 200 条随机抽取的人工编码回答，并建议默认提供训练数据。提升在模糊回答和模型最难处理的编码上最明显。

哪个 LLM 最适合定性编码？

在本研究中，Claude 4.5 Opus 和 Sonnet 得分最高，GPT-5.2 紧随其后。作者强调各旗舰模型之间差距很小，而且模型更新很快，请在自己的数据上检验结果。

来源：Hudde, A., & Taflinger, S. (2026). A Golden Era for Open-Ended Questions? Using LLMs for Text Classification Tasks. ECONtribute Discussion Paper No. 416，波恩大学与科隆大学。（RePEc 页面）

最后更新：2026 年 10 月 30 日

本文是对第三方研究的独立编辑摘要。QualiTaTi 与论文作者及 ECONtribute 系列均无关联。