简短回答：单靠它还不行。佛罗里达州立大学 Han 等人 2026 年的一项研究，把 LLM-as-judge 的评分与受过训练的人类评分者进行对比，评估对象是针对教师访谈生成的 3,560 条一句话解读。自动评审大体排对了模型的先后顺序，也能识别出最弱的模型，但它偏爱字面化、停留在表层的概括，反而压低了人类最看重的语用推断。
越来越多的定性研究团队让一个 LLM 去编码或解读访谈，再让另一个 LLM 检查结果。第二步被称为 LLM-as-judge（以 LLM 为评审），它之所以诱人，是因为人工评估既慢又贵。可是，自动评审真的能分辨“准确理解了受访者的意思”和“只是写得整齐”吗？Songhee Han、Jueun Shin、Jiyoon Han、Bung-Woo Jun 和 Hilal Ayan Karabatman 的预印本（arXiv，2026）正面检验了这个问题，其结论对任何需要为解读性分析挑选模型的人都很有参考价值。
\n\n研究检验的是：现成的 LLM 评审对 AI 生成的访谈解读质量的判断，是否与人类专家一致。据 Han 等人（2026）介绍，数据来自 8 场针对 K–12 数学教师的半结构化访谈，主题是批判性思维与 AI，清洗后得到 712 个承载意义的对话片段。访谈者和受访者的发言都被保留，以便在上下文中理解含义。
\n五个常用模型分别为每个片段写出一句话解读，要求表达说话者想传达的意思，而不是复述原话：
\n随后，通过 AWS Bedrock 的 LLM-as-judge 服务运行的 Claude 3.5 Sonnet 对全部 3,560 条回答按五项指标打分：忠实度（Faithfulness）、正确性（Correctness）、连贯性（Coherence）、有害性（Harmfulness）和刻板印象（Stereotyping）。与此同时，四名受过训练的人类评估者对其中 60 条分层抽样的回答，从解读准确性、细微差别保留和解读连贯性三方面打分，每条由三人评分（共 180 次评分任务）。
\n\n取平均后，人类基准是可以接受的，但单个评分者之间的一致性只属中等。作者报告单人评分的 ICC(3,1) 在 .492 到 .545 之间，而平均评分的 ICC(3,k) 在解读准确性上达到 .782，在细微差别保留和解读连贯性上均为 .744。这本身就提醒我们：解读难到连受过训练的人都会有分歧，这也是研究拿 LLM 评审与三名评分者的平均值比较的原因。
\n\n方向上一致，幅度上不一致。据 Han 等人（2026），在模型层面，LLM 评审的综合得分与人类综合得分呈中等程度的排序一致（Spearman ρ = .60，p = .28），在 1–5 分量表上的平均绝对误差为 0.91。由于只有五个模型，准确性和细微差别相关的系数都未达到统计显著。
\n模型层面的分数让这一规律更直观：
\n| 模型 | 人类综合分（排名） | LLM 评审综合分（排名） |
|---|---|---|
| GPT-5.1 | 4.046 (1) | 4.822 (3) |
| Qwen 3-32B Dense | 3.944 (2) | 4.938 (1) |
| Llama 4 Scout-17B Instruct | 3.778 (3) | 4.924 (2) |
| Gemini 2.5 Pro | 3.583 (4) | 4.141 (5) |
| Command R+ | 3.481 (5) | 4.540 (4) |
来源：Han 等人（2026），表 6。人类评分为 1–5 分；评审分数由 0–1 线性换算到 1–5。评审综合分仅包含忠实度、正确性和连贯性。
\n有两点值得注意。第一，评审给每个模型的分数都远高于人类，因此它的绝对分值不能直接当作质量。第二，虽然人类和评审把同样两个模型排在末尾，但对谁最好意见不一：人类把 GPT-5.1 排第一，评审只把它排第三。论文还指出，在该设置下 Gemini 2.5 Pro 经常输出在句子中途被截断的回答。
\n\n在模型层面，连贯性是最有用的单一信号，而两项安全类指标毫无用处。据 Han 等人（2026），评审的连贯性指标与人类的解读准确性（ρ = .63）和细微差别保留（ρ = .67）相关最强。忠实度和正确性与人类对解读连贯性的评分高度吻合（均为 ρ = .90，p = .04，MAE 分别为 0.14 和 0.16）。有害性和刻板印象与每一项人类标准都呈负相关或几乎无关，因此作者建议在解读性工作流程中弃用它们。
\n但有个问题：在片段层面，连贯性几乎没有区分度，60 条抽样回答中有 59 条拿到满分。它更像一个近乎二元的“没有矛盾”标记，而不是质量梯度。
\n\n评审奖励字面对应，惩罚意义建构。作者检查了人类与评审分歧最大的片段，发现分歧是系统性的，而非随机：
\n简言之，人类评判的是语用契合与解读深度，LLM 评审评判的是字面忠实与形式合规。定性研究的要义往往在于受访者话里的言外之意，而非字面内容，因此这是根本性的错位。
\n\n用 LLM-as-judge 缩小范围，而不是选出最终赢家。作者提出了一个易于采用的两阶段流程：
\n这符合一个更普遍的规律：AI 适合做第一轮，意义的判断仍由人类负责。ThemeLens 这类工具正是围绕这种分工设计的，它把 AI 生成的主题链接回原话引用，让研究者对照原文核查解读，而不是只信一个分数。如果你的访谈由 AI 访谈员收集，分析环节同样适用这条规则：先人工验证一个样本，再扩大规模。
\n\n这些证据还处于早期阶段。研究只用了一个领域的 8 场访谈、一个评审模型、五个推理模型和 60 条人工评分条目，因此模型层面的相关只建立在五个数据点上。出于隐私原因，原始片段无法公开，但分析脚本已在 GitHub 上公开。换用其他评审模型、自定义评分标准，或评估编码、主题等更长的分析产出，结果可能不同。
\n\n它指用一个大语言模型为另一个模型的产出打分，例如按评分标准评估 AI 生成的编码、摘要或解读，而不是由人工逐条审阅。
\n就目前证据而言不行。Han 等人（2026）发现，评审在分值幅度上偏差很大，并且误读了非字面的解读。请保留对分层样本的人工审核。
\n在本研究中，模型层面上连贯性与人类的准确性和细微差别评分最一致（ρ = .63 和 .67），但它给 60 条抽样回答中的 59 条打了满分，因此无法给单条解读排序。
\n在该数据集中，人类评分者把 GPT-5.1 排在最高，Command R+ 最低。LLM 评审则把 Qwen 3-32B Dense 排在最高，这正是作者建议不要用评审做最终模型选择的原因。
\n\n最后更新：2026 年 10 月 21 日
\n本文是对 Han 等人（2026）第三方研究的独立编辑摘要。Qualitati 与作者没有隶属关系。所有数据均按原始预印本中的表述报告，完整方法与结果请参阅原文。
","related":[{"slug":"rehearse-interview-protocol-simulated-participants-2026","title":"能用 AI 模拟受访者预演访谈吗？2026 年研究发现","description":"能否用 AI 模拟受访者预演访谈提纲？一项 2026 年对 21 位定性研究者的研究发现，预演带来了实际的提纲修改，也暴露出三个隐藏风险。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"synthetic-participants-pilot-study-design-2026","title":"合成受访者能替你做预调研吗？2026 年研究发现","description":"合成受访者能否用于研究设计预调研？一项 2026 年研究发现，LLM 模拟受访者的推理过程比付费真人预调研或聊天机器人审阅发现了更多问卷缺陷。","category":"研究方法论","date":"2026-10-20","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"ai-follow-up-interviews-vs-fixed-surveys-experiment-2026","title":"问卷中加入 AI 追问访谈有用吗？2,243 人实验（2026）","description":"AI 追问访谈能提升问卷回答质量吗？2026 年 POQ 一项 2,243 人实验发现：理由更丰富、满意度基本不变，但部分答案会发生偏移。","category":"研究方法论","date":"2026-10-16","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}