简短回答：在编码手册定义清晰的前提下，可以。2026 年 6 月科隆大学的一项研究分析了 1,419 条开放式问卷回答，发现 Anthropic 和 OpenAI 的旗舰 LLM 与研究者编码基准的一致性，高于受过训练的硕士生编码员。Claude 4.5 Opus 的 Cohen's kappa 达到 0.72，学生编码员为 0.65–0.66；较小的模型则不如人工。
在问卷里加一道开放式问题几乎没有成本，分析起来却很昂贵，因此许多数据集中的文本栏从未被编码。社会学家 Ansgar Hudde 与 Shannon Taflinger 的一篇新 ECONtribute 工作论文检验了 LLM 能否填补这一空白，并进一步检验：用 LLM 编码，是否会让研究者得出与人工编码不同的实质性结论。
\n\n研究在一个贴近真实、复杂度中等的编码任务上，比较了 LLM 与受过训练的学生编码员。数据来自一项配额代表性问卷，受访者为 1,419 名 20–33 岁的美国人，问卷请他们谈谈与对立党派的人约会时的\"理由、想法、感受\"等思考。
\n根据 Hudde 和 Taflinger（2026）的描述，研究流程分为六步：
\n参与测试的模型包括 OpenAI 的 GPT-5 nano、GPT-5 mini 和 GPT-5.2，Anthropic 的 Claude 4.5 Haiku、Sonnet 和 Opus，以及 Mistral Small 4 和 Large 3，全部通过 API 在 R 中调用。
\n\n最好的 LLM 胜过了学生，最小的模型则输给了学生。论文以与研究者基准之间的 Cohen's kappa 衡量准确度。两名学生助理分别为 0.65 和 0.66，而他们彼此之间的一致性只有 0.60。
\n在每家厂商内部规律都一致：模型越先进，编码越准确。作者的结论是，选哪一档模型比选哪家厂商更重要。
\n\n有。加入 200 条人工编码示例后，几乎所有模型都有提升，一些较便宜的模型在有示例时甚至超过了没有示例的更先进模型。唯一的例外是最弱的 GPT-5 nano，它没有提升，说明有些模型对这项任务来说就是太小了。
\n提升并不均匀。训练数据对模糊回答、以及模型起初表现最差的编码帮助最大。作者认为，训练数据的作用是让整本编码手册上的表现更稳定，而不是让每个编码都同等提升。加入示例后，Mistral Large 3 也明显超过了学生。
\n\nLLM 往往在人也会出错的回答上出错。在两名学生都与基准一致的 55.6% 回答上，LLM 的一致率非常高；在至少一名学生出现分歧的 44.4% 回答上，LLM 的准确度也较低。
\n这对效度检验很重要。LLM 的错误集中在模糊文本上，而这正是人工审核本就会重点查看的地方，并非随机散布。三个表现最好的模型（GPT-5.2、Claude Sonnet 4.5 和 Opus 4.5）在任何单个编码上都没有明显差于两名学生，这排除了最糟糕的情况，即模型悄悄漏掉某一整个类别。
\n\n在这项研究中，不会。这可以说是论文最有价值的检验。按基准编码，被编为\"不愿意\"的受访者对约会资料中的政治立场不一致反应强烈，\"视情况而定\"的受访者反应中等，\"愿意\"的受访者几乎没有反应。无论编码来自研究者、学生还是 LLM，这些估计的反应几乎完全相同。Hudde 和 Taflinger 报告说，就这个研究问题而言，即便是中档模型，其编码的预测效度也与人工编码相当。
\n\n金钱成本很低，主要成本是研究者的时间。在不提供训练数据的情况下，编码全部回答的费用约为：
\n| 厂商 | 模型 | 编码全部约 1,400 条回答的大致费用 | 与学生相比 |
|---|---|---|---|
| Anthropic | Claude 4.5 Opus | $1.70 | 更好（kappa 0.72） |
| Anthropic | Claude 4.5 Sonnet | $1.00 | 更好（kappa 0.71） |
| Anthropic | Claude 4.5 Haiku | $0.30 | 未单独比较 |
| OpenAI | GPT-5.2 | $0.55 | 更好 |
| OpenAI | GPT-5 mini | $0.38 | 未单独比较 |
| OpenAI | GPT-5 nano | $0.22 | 更差 |
| Mistral | Large 3 | $0.07 | 更高，但不显著 |
| Mistral | Small 4 | $0.02 | 更差 |
来源：Hudde & Taflinger（2026），每批 10 条回答，无训练数据。\"未单独比较\"指论文正文没有将该模型与学生直接比较。
\n分批是最主要的成本杠杆。以 Claude Sonnet 4.5 为例，每次调用只发一条回答，费用约 $7.00，耗时约 60 分钟；每批 10 条，费用约 $1，耗时不到 10 分钟。加入训练数据后，Sonnet 的费用从约 $1 升至约 $3。作者估计，编码 10,000 条类似回答的费用从不到一美元到几十美元不等。
\n\n可复现性不错，但并不完美，而且取决于厂商。Anthropic 和 Mistral 的模型支持 temperature 设为零，重复运行时超过 99% 的回答得到相同编码。GPT-5 系列不支持 temperature 为零；三次运行中，GPT-5.2 的两两一致性在 92% 到 94% 之间。因此作者认为 Anthropic 和 Mistral 是可复现性更好的选择。
\n\n这项研究支持的是分工，而不是完全自动化。解释性的工作由研究者亲自完成：阅读数据、进行主题分析、构建编码手册；随后由 LLM 大规模套用定稿的编码方案。论文的建议包括：
\n作者自己也指出了一个重要局限：这只是一项任务，使用英语、一个美国人群和一个团队的编码手册。换成其他文本类型、语言或编码方案，表现可能不同；基准本身也反映的是单个研究团队的判断。
\n如果你在对话式问卷中收集开放式回答，QualiTaTi AI 问卷这类工具会把文本与每份回答的其他内容放在一起。对于论文描述的\"先定编码手册、再规模化套用\"的流程，ThemeLens 可以让你对照自己的编码方案审阅和修改 AI 建议的编码。关于信度指标的背景，可参阅我们的AI 编码的编码者间信度指南。
\n\n在套用现成、定义清晰的编码手册方面，本研究中最强的模型达到或超过了受过训练的学生编码员。但它们并没有取代设计编码手册的研究者：编码手册的制定和输出的验证仍由人完成。
\n论文没有给出通用阈值。作为参照，本研究中受过训练的学生编码员与基准的 kappa 为 0.65–0.66，最好的模型为 0.72。请把你的 LLM 的 kappa 与人工编码员在你自己数据上的表现进行比较。
\n研究使用了 200 条随机抽取的人工编码回答，并建议默认提供训练数据。提升在模糊回答和模型最难处理的编码上最明显。
\n在本研究中，Claude 4.5 Opus 和 Sonnet 得分最高，GPT-5.2 紧随其后。作者强调各旗舰模型之间差距很小，而且模型更新很快，请在自己的数据上检验结果。
\n\n来源：Hudde, A., & Taflinger, S. (2026). A Golden Era for Open-Ended Questions? Using LLMs for Text Classification Tasks. ECONtribute Discussion Paper No. 416，波恩大学与科隆大学。（RePEc 页面）
\n\n最后更新：2026 年 10 月 30 日
\n本文是对第三方研究的独立编辑摘要。QualiTaTi 与论文作者及 ECONtribute 系列均无关联。
\n","related":[{"slug":"smart-coder-framework-llm-qualitative-coding-2026","title":"思维链能提升 AI 定性编码吗？2026 年研究结果","description":"思维链能提升 AI 定性编码吗？一项 2026 年研究基于 72 份访谈发现，提示词校准最关键。附主要结果、对比表与实用工作流程。","category":"研究方法论","date":"2026-10-29","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"synthetic-respondents-cultural-flattening-2026","title":"合成受访者会抹平文化差异吗？2026 年研究","description":"合成受访者会抹平国家间的文化差异吗？2026 年研究发现，LLM 人设在拟合度良好的同时，只保留了真实跨国分歧的 14–59%。","category":"研究方法论","date":"2026-10-23","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"synthetic-survey-panels-marginal-fidelity-2026","title":"合成问卷样本库真的在模拟人吗？2026 年的一项检验","description":"合成问卷样本库能模拟真实受访者吗？2026 年研究发现，与公开平均值吻合并不能证明模拟成功：无人设提示在 9 组对比中 9 次胜过人设样本库。","category":"研究方法论","date":"2026-10-22","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}