研究人员眼中的 LLM 主题分析（2025）
Qualitati 研究团队 · 2026-06-02 · 8分钟阅读
最后更新时间：2026年6月2日
简要答案
大语言模型能否独立进行主题分析？有经验的研究人员表示否定——还不行。在2025年对25名软件工程研究人员进行的反思性工作坊研究中，参与者看到LLM辅助的主题分析在效率和可扩展性方面带来了实质性收益，但也指出了偏见、语境丧失和可复现性方面的严重风险，结论是LLM可以支持解释性分析，但不能替代解释性分析（Ornelas et al., 2025）。
这项研究测试了什么？
这项研究探讨了有经验的研究人员如何理解将LLM融入主题分析的机遇、风险和方法论影响。根据Ornelas et al. (2025)的描述，研究人员与来自国际软件工程研究网络（ISERN）的25名研究人员开展了结构化反思性工作坊。设计方法并非将模型与黄金标准编码本进行基准测试，而是捕捉专家判断：参与者使用彩色编码的画布记录了在三个分析阶段——LLM辅助编码、主题生成和审查——中感知到的机遇、局限性和建议。
这一框架很重要。对"AI主题分析"的大多数报道都是在固定数据集上衡量准确性。这项研究反而询问从事主题分析工作的人员在哪些情况下会信任这种工具，以及在哪些情况下不会——这更接近工作中的研究人员实际面临的决策。
研究人员认识到了哪些机遇？
参与者并未否定LLM。首要的好处是效率和可扩展性：能够比手工编码更快地处理大量定性数据，并支持对语料库进行早期探索性分析。在手工编码数百份访谈记录可能需要数周的领域中，这种速度确实很有吸引力。
不过，这种乐观态度是有条件的。那些看重速度的研究人员也明确表示，速度只有在与经过严格训练的人类判断相结合时才能产生效益——这一主题贯穿了下文的所有建议。
LLM主题分析的局限性是什么？
根据Ornelas et al. (2025)的研究，参与者对三个反复出现的风险达成了共识：
| 风险 | 在实践中的含义 | 对严谨性的影响 |
|---|
| 偏见 | 模型的训练和提示可能会倾向于哪些编码和主题浮现 | 主题可能反映的是模型的先验偏好，而非数据本身 |
| 语境丧失 | 文本被分块和汇总时，细微差别、语调和具体含义会被压平 | 解释深度是定性研究的核心 |
| 可复现性 | 相同的提示和数据在不同运行和模型版本间可能产生不同主题 | 难以审计或复制发现 |
可复现性是三者中最沉默但也最具腐蚀性的一个。主题分析已经面临"主观性"的质疑；加入一个在版本间行为不稳定的非确定性模型，使得"我们得到了这些主题"变得更难为之辩护，除非该过程被仔细记录。
研究人员提出了什么建议？
这项研究的建议围绕两个理念展开。首先是提示词素养：研究人员需要理解提示词措辞、示例和框架如何影响模型返回的结果，而不是将LLM当作一个"发现主题"的黑箱。其次是持续的人类监督：在每个阶段都要有人参与——检查编码、质疑生成的主题，并掌握解释权。
总体结论（用作者的表述）是，LLM作为工具可以支持但不能替代解释性分析。这与2025–2026年方法论研究中的一个更广泛的模式相吻合：AI作为编码机械部分的加速器最具防守性，而意义建构仍应由研究人员完成。
一种实际的劳动分工
- 让模型进行初始分析。使用它草拟编码并聚类大量文本——这是劳动密集但判断要求低的工作。
- 保持主题生成的人类领导。将AI提议的主题视为需要质疑的候选项，而非要接受的结论。
- 记录提示词和模型版本。当你的提示词、示例和模型与发现一起被记录时，可复现性风险会缩小。
- 在样本上验证。在信任完整集合之前，手动检查AI编码中的一部分，对照你自己的阅读。
对研究人员的意义
如果你进行主题分析——在软件工程、UX、市场研究或学术工作中——结论既不是"避免LLM"也不是"自动化一切"。而是设计一个工作流程，其中模型加速编码，而人类拥有解释和可审计性的责任。保持研究人员对编码和主题的控制权、而不是隐藏推理逻辑的工具最符合这一要求。Qualitati的ThemeLens正是围绕这种AI主题分析的人类在回路模型而构建，当你也在收集数据时，它可与AI Interviewer配套使用。无论你使用什么工具，这项研究提出的标准都是公平的：速度是受欢迎的，但主题仍然需要你来为之辩护。
常见问题
LLM能否替代研究人员进行主题分析？
不能。根据Ornelas et al. (2025)的研究，有经验的研究人员得出结论，LLM可以支持但不能替代解释性分析，需要在每个阶段进行人类监督。
AI主题分析的最大风险是什么？
这项研究强调了三个：哪些主题浮现中的偏见、语境和细微差别的丧失，以及跨运行和模型版本的可复现性不佳。
什么是"提示词素养"？
它是研究人员对提示词措辞、示例和框架如何影响LLM输出的理解——在这项研究中被视为负责任地使用这些工具的核心技能。
这项研究是如何进行的？
这是一场与来自ISERN的25名软件工程研究人员进行的结构化反思性工作坊，他们在彩色编码的画布上记录了机遇、局限性和建议。
本文是对第三方研究的独立编辑总结。主要来源：Ornelas, T., Araújo, A. A., Araújo, J., Araújo, M., Trinkenreich, B., & Kalinowski, M. (2025). LLM-Assisted Thematic Analysis: Opportunities, Limitations, and Recommendations. arXiv preprint.