AI 用户研究

快速 vs 慢速硅基抽样:一个提示词就够了吗?(2026)

Qualitati 研究团队

2026-10-27

7 分钟阅读


简短回答:南洋理工大学 2026 年的一项研究测试了让 LLM 在一个提示词中回答整份问卷("快速"硅基抽样)的做法。结果显示,这样生成的合成问卷数据至少与常规的"一次一题"方法同样可信,成本却只有约一半。但两种方法都严重低估了人类意见的方差,只保留了真实离散程度的四分之一左右。

最后更新:2026 年 10 月 27 日

硅基抽样(silicon sampling)是指把受访者的人口统计画像输入大语言模型,让它以这个人的身份回答问卷题目。大多数研究采用"慢速"做法:每次 API 调用只问一道题(或一小组题),调用之间重置会话。Nickolas Hock Yuen Lam、Ji Xuan Voo 与 Xiangyu Ma 的预印本 The conditional superiority of fast silicon sampling(arXiv,2026 年 8 月)检验了一个此前没有研究直接比较过的实际问题:一次性发送整份问卷,会不会让合成答案变差?

快速和慢速硅基抽样有什么区别?

快速抽样把所有题目放进一个大提示词,一次拿回完整的一套回答。慢速抽样则把问卷拆成小单元,每个单元都发起一次新的 API 调用。作者指出,慢速抽样是这一领域的默认做法。他们人工编码了 2023 年至 2026 年年中 75 篇实质性使用硅基抽样的 arXiv 预印本,其中 66 篇用慢速抽样,17 篇用快速抽样(有 8 篇两者都用)。

研究者为什么默认选择慢速?作者推断有三个原因。一是沿用 Argyle 等人(2023)最初的流程。二是早期模型处理长提示词的效果较差。三是希望逐题隔离,以避免题序效应。他们还指出,人类受访者答问卷本来就是"快速"方式,会把前一道题的记忆带到下一道题。

这项研究测试了什么?

研究用两种方法分别构建了世界价值观调查(WVS)第 7 波新加坡样本(n = 2,012)的合成版本,并与真实受访者对比。根据 Lam、Voo 与 Ma(2026),研究设置如下:

  1. 模型:OpenAI GPT-5.4(2026 年 3 月 5 日版本权重),temperature 为 1.0,最多输出 2,500 个 token。
  2. 画像:每位真实受访者的画像由 14 个人口统计变量重建,包括年龄、性别、公民身份、家庭语言、教育程度、宗教和族裔。画像之前先放入一段改编自 WVS 访员脚本的开场介绍。
  3. 题目:共 27 道题,分为两组。8 道关于移民的感知影响,19 道询问各种伦理行为是否情有可原。
  4. 规模:每种模式下,每位真实受访者生成 30 个合成替身,即每种模式 60,360 套合成回答。
  5. 保真度检验:总体均值、受访者层面的答案重合度(Jaccard 距离)、方差、两两关联(Cramer's V),以及意见空间的整体"形状"。形状用多重对应分析绘制,再用 Procrustes 统计量比较。

快速硅基抽样更便宜吗?

是的,便宜很多。慢速抽样每个合成受访者约需 20 秒和 4,000 个 token,快速抽样只需 3 秒和 1,450 个 token。作者估算,完整运行一次慢速抽样需 335.3 小时、603.60 美元,快速抽样则为 50.3 小时、301.80 美元。

指标慢速抽样快速抽样
每位受访者运行时间约 20 秒约 3 秒
每位受访者 token 数约 4,000约 1,450
估算总成本$603.60$301.80
平均标准化偏差(27 道题)0.40 SD0.37 SD
保留的真实离散程度23.9%22.9%
与 WVS 关联结构的相关,移民(r)0.280.42
与 WVS 关联结构的相关,伦理(r)0.570.69
Procrustes M²,移民(0 = 完全相同)0.6100.468

来源:Lam、Voo 与 Ma(2026),表 1、2、5、6 及正文。

快速硅基抽样准确度更低吗?

不会。几乎在所有指标上,快速抽样与人类数据的接近程度都和慢速抽样相当,而且常常略好。27 道题的平均标准化偏差,快速为 0.37 SD,慢速为 0.40 SD。无论哪种模式,合成受访者与对应真实受访者的答案重合率都只有 40% 左右,但快速抽样在两组题上都略微更接近。快速抽样对题目间相关性的还原也更好,移民和伦理两组都是如此。

在伦理题的意见空间上,快速抽样没有明显胜出。两种模式的差距不到 0.02(M² 慢速 0.744,快速 0.756)。

硅基样本整体有多准确?

均值上算中等准确,均值之下的一切都表现不佳。这部分结论同时适用于两种方法,研究者最应该重视:

  • 方差塌缩。在全部 27 道题上,合成样本的离散程度都低于人类样本。平均而言,它们只保留了真实标准差的 24%(慢速)和 23%(快速)。有 7 道伦理题和 1 道移民题的方差为零,也就是所有合成受访者给出了同一个答案。
  • 移民题比伦理题更难。在慢速抽样下,移民态度的标准化偏差约为伦理态度的两倍(0.60 对 0.31 SD)。
  • 意见结构被扭曲。Procrustes M² 介于 0.468 到 0.756 之间。对真实 WVS 数据做自助重抽样的得分为 0.0004 或更低,因此合成数据的偏离比抽样噪声大约高出三个数量级。

作者指出,模型掌握的新加坡训练数据少于英美欧洲的调查人群。他们的结论是,那里的硅基样本最多只能作为探索性工具。它适合用来生成假设或压力测试题目措辞,但不应替代受访者。

这和在一个提示词里批量生成多个受访者是一回事吗?

不是,这个区别很重要。本研究是把一个画像的所有题目放进同一个提示词。我们报道过的另一项 2026 年研究发现,在一次请求中生成多个合成受访者会抬高相关性。两项研究合起来看,一个合理的默认做法是:每次调用一个画像,并在这次调用里放入完整问卷。把多个画像塞进同一次调用风险更高。

这对研究者意味着什么

如果你已经在用合成受访者做问卷预测试,可以放心地用更便宜的单提示词设计替换默认的慢速做法。但它解决不了根本的局限。几点实用建议:

  • 检查方差,而不只是均值。合成均值可能与人类均值很接近,而分布却只有真实离散程度的四分之一。
  • 验证结构。在对态度之间的关系下结论之前,先把题目间相关或整体结构与真实基准对比。
  • 把省下的钱用在真实数据上。生成成本减半,最有价值的用法是把钱投入收集人类回答,去验证模拟给出的线索。

这篇论文支持合成样本承担探索性角色。对于在正式发放前测试问卷的团队,Qualitati 数字孪生样本库适合这一角色,AI 问卷则负责面向真实受访者的验证环节。

常见问题

什么是硅基抽样?

硅基抽样是指把一个人的人口统计画像输入大语言模型,收集它给出的问卷回答,作为这个人的合成替身。这一术语来自 Argyle 等人(2023)。

把所有问卷题目放进一个提示词,会让 LLM 的答案更不准确吗?

在本研究中不会。单提示词做法在均值、受访者层面的重合度和题目间关联上都与"每次调用一题"的做法持平或更好,成本却只有约一半。

硅基样本能替代人类问卷受访者吗?

按这项证据来看还不能。两种方法保留的真实意见方差都不到四分之一,也扭曲了态度之间的关系。因此作者只建议用于探索性用途。

这项研究用了什么模型和数据?

研究使用 OpenAI GPT-5.4 和世界价值观调查第 7 波新加坡样本(2,012 名受访者),涉及移民和伦理规范两方面共 27 道题。

最后更新:2026 年 10 月 27 日。本文是对 Lam、Voo 与 Ma(2026)第三方研究的独立编辑摘要,与作者无关联,也未获作者背书。完整方法与结果请参阅原始预印本。


免费试用 Qualitati

立即开始 AI 辅助定性研究,无需信用卡。

免费开始
相关文章