AI 模拟能作为有效的研究证据吗？2026 年验证框架解读
Qualitati 研究团队 · 2026-07-03 · 7 分钟阅读
AI 生成的回答能算作有效的行为证据吗？只有在满足特定条件时才可以。2026 年 2 月发表的一篇框架论文指出，大语言模型可以放心用于探索性发现，但若要把它们当作验证性证据，就必须以真实的人类数据为基准做统计校准，而不能仅凭模型结果与人类结果曾经吻合过一次。
这项 2026 年的研究到底主张什么
这篇论文题为“This human study did not involve human subjects: Validating LLM simulations as behavioral evidence”，作者为 Jessica Hullman、David Broska、Huaman Sun 和 Aaron Shaw（arXiv，2026 年 2 月 17 日），讨论的是一种迅速普及的做法：把 LLM 当作“合成受访者”，以极低成本、近乎即时地生成问卷和实验回答。论文的核心观点是，对于这些模拟回答何时有效，学界尚无公认标准；而目前流行的捷径，即展示 AI 与人类结果的一次性吻合，并不足以充当这样的标准。
Hullman 及其同事（2026）指出，研究者目前依赖两种界定松散的验证策略。启发式验证是指用“在某一情境中观察到的 LLM 与人类结果相吻合的证据，来支持在另一个人类真实结果未知的相关情境中把二者视为可互换”。统计校准则是“把一份人类受访者样本与一份通常更大的 LLM 预测回答样本结合起来”，并在明确的假设之下“防止 LLM 给点估计带来偏差”。
目前 LLM 模拟的效度究竟如何？
坦率地说：在方向上有参考价值，但不足以支撑验证性结论。论文综合了近期的复现研究证据，仔细读来，这些数字发人深省。
- 在一组共 156 项心理学与管理学实验中，LLM 复现了至多 81% 的主效应的方向和显著性，但对于在人类数据中并不显著的效应，也有至多 83% 被模型得出了显著结果（Cui et al., 2025，转引自 Hullman et al., 2026）。换言之，模型会凭空制造出人类样本并不支持的发现。
- 在种族、性别等社会敏感议题上，同一复现率从 77% 降至 42%（Cui et al., 2025）。
- 人类与 LLM 之间的效应量相关性“为中等到较高（大约 0.85 和 0.5）”，然而“LLM 会高估人类的效应量”（Hewitt et al., 2024；Cui et al., 2025）。
- 即便是个体层面的模仿，实际情况也不如看上去那么好：智能体模拟在复现回答时达到了“相当于个体本人准确度的 85%”（Park et al., 2024），另一项研究则“还原了个体自我复现能力的 88%”（Toubia et al., 2025），但自我复现本身就是一个并不完美的上限。
最值得警惕的一个数字与下游偏差有关：论文引用的 Egami et al.（2024）的一项模拟显示，预测准确率达到 90% 的 LLM 标注，一旦代入回归分析，仍可能“得到一个偏差很大的估计量（相对偏差约 30%）”。表面上的高准确率并不能保证估计无偏。
三种验证路径的比较
Hullman et al.（2026）把现有做法归纳为三种路径。下表概括了每种路径各自适用的场景。
| 路径 | 具体做法 | 最适用于 | 主要风险 |
|---|
| 先验证后模拟（Validate-then-simulate） | 收集人类数据，与 LLM 共同标注并证明二者吻合，然后在没有新的人类真实结果的情况下，把 LLM 应用到相关情境 | 扩展一个已验证过的情境 | 某一情境中的吻合未必能迁移；没有形式上的保证 |
| 先模拟后验证（Simulate-then-validate） | 只把 LLM 用于探索性发现，筛出有潜力的假设，再针对选出的发现开展人类研究 | 生成研究思路、筛选研究方案 | 低，前提是最终结论建立在人类数据之上 |
| 统计校准 | 借助能够修正模型偏差的估计量（如 prediction-powered inference），把人类样本与规模更大的 LLM 预测样本结合起来 | 预算有限时的验证性估计 | 精度提升往往有限；假设必须成立 |
提升究竟有多有限？用 100,000 条 LLM 预测来扩充 10,000 条人类决策，“有效样本量仅增加了约 13%”（Broska et al., 2025），另一种方法报告的提升也只是“最高 14%”（Krsteski et al., 2025）。校准保护的是效度，它并不能取代人类数据。
这对研究者意味着什么
先说决策原则：方法要与研究所处的阶段相匹配。
- 探索性研究：可以放手使用 LLM 来筛选研究设计、生成假设，再用真人去验证留下来的那些。这就是“先模拟后验证”的路径，风险最低。
- 验证性研究：不要仅凭一次吻合演示，就用 AI 回答代替真人。应采用统计校准，让假设明确可见，并修正模型偏差。
- 检查训练泄漏：作者强调了“No Training Leakage”（无训练泄漏）这一条件，即你的实验提示词不应已经出现在模型的训练数据中，否则表面上的复现可能只是记忆。
- 透明报告 AI 的使用情况：论文认为，如果各实验室“透明地报告它们在发现阶段如何使用 LLM，并同时报告最终的人类研究结果”，学界终将能够以实证方式刻画 LLM 的可靠性。
这与定性研究实践有何关系
这篇论文讨论的是定量模拟，但其中的逻辑可以直接迁移到定性研究和混合方法研究。合成受访者非常适合用来对访谈提纲做压力测试、发掘边缘情形下的异议，或者预演主持流程，这些都属于后续仍会开展人类研究的探索性用途。但在最终分析中，它们无法替代真实受访者的声音。Qualitati 的 Synthetic Focus Group 和 Digital Twin Panel 正是为这条探索性路径而设计的，用于在招募受访者之前界定研究范围、预演研究设计；而 AI Surveys 和 AI 主持的访谈，则用来收集验证性结论最终所依赖的人类真实数据。
常见问题
我可以只凭 LLM 的回答发表研究吗？就验证性发现而言，不可以，至少无法令人信服。Hullman et al.（2026）表明，启发式替代可能凭空造出显著效应（至多 83% 的零效应），而且高预测准确率仍可能带来约 30% 的估计偏差。最终结论应当立足于人类数据。
这里所说的统计校准是什么？它是一类方法的统称：把较小的人类样本与较大的 LLM 预测样本结合起来，并修正模型的偏差，从而在所述假设成立时给出有效的点估计和置信区间。
合成受访者有没有适用的场合？有，那就是探索阶段。可以用它们生成假设、筛选设计、预演研究工具，然后再用真人验证。这种“先模拟后验证”的模式，是论文推荐的风险最低的做法。
什么是“训练泄漏”，它为什么重要？如果你要模拟的实验或量表已经出现在模型的训练数据中，那么表面上的复现可能只是回忆，而不是真正的预测，这会让你高估 AI 的效度。
结论
LLM 模拟是发现的加速器，而不是人类证据的替代品。用它来探索；在下验证性结论之前，先用真人验证。这份 2026 年框架的贡献在于把这条边界讲清楚，并为介于两者之间的情形提供了校准工具。
原始文献：Hullman, J., Broska, D., Sun, H., & Shaw, A. (2026). “This human study did not involve human subjects: Validating LLM simulations as behavioral evidence.” arXiv:2602.15785. 阅读论文原文。
最后更新：2026 年 7 月 3 日。本文是对第三方研究的独立编辑性综述；所有统计数据均归属于其原始研究，并非由 Qualitati 得出。