合成问卷数据——由 LLM 生成而非从真人处收集的回答——所附带的置信区间通常窄得离谱。Tan 与 Zrnic 2026 年的一篇论文显示，在真实的选举调查数据上，这类朴素区间只有 3% 的情况覆盖了真值；他们提出的校准方法则恢复了有效的覆盖率。
\n\n它解决的是 silicon sampling 的误差棒问题。研究者早已知道合成受访者存在偏差；更棘手的问题是，一个合成估计究竟能作为什么的证据。如果你生成 2,000 个 LLM「受访者」并计算 90% 置信区间，这个区间反映的是模型输出分布内部的抽样噪声——而不是该分布与现实之间的距离。区间精确地刻画了错误的量。
\n《Valid Inference with Synthetic Data via Task Exchangeability》（Lezhi Tan 与 Tijana Zrnic，arXiv 预印本，2026 年 6 月，2026 年 8 月修订）正面处理了这一点。其论证是：若不对真实分布与合成分布之间的联系作任何假设，仅凭合成样本进行推断是不可能的——因此有意义的做法，是找出能让推断重新成立的最弱假设。
\n\n任务可交换性是这样一个假设：你的新研究问题，在统计意义上可与一组你确实拥有真实数据的历史问题互换。具体而言：你此前做过 30 项类似调查，每项都同时有真实回答与合成回答。在每一项上，你都能测出合成估计与真值之间的差距。如果新任务抽自同一个任务总体，那么这些历史差距就能告诉你，新的合成估计大概会偏离多远。
\n方法由此推出。据 Tan 与 Zrnic（2026），流程为：
\n结果是一个带有可证明覆盖率保证的区间。它比朴素区间宽得多——而这正是刻意为之。宽度本身就是结论：它是你没有真正去收集数据所应付的诚实代价。
\n\n非常严重，且在三个截然不同的领域中表现一致。下表列出的覆盖率（区间实际包含真值的比例；目标约为 90–95%）如下。
\n\n| 基准 | 合成数据来源 | 朴素覆盖率 | 校准后覆盖率 |
|---|---|---|---|
| ANES 情感温度计（33 项目标任务） | GPT-3.5 | 3% | 97% |
| Pew ATP 总统支持率（8 个预测波次） | GPT-4o | 0% | 100% |
| Arena autorater，胜率（74 个模型中的 73 个） | LLM autorater | 19% | 100% |
| Arena autorater，Bradley-Terry 分数 | LLM autorater | 约 73% | 93.3% |
有两个细节值得细读。第一，ANES 校准后区间的中位宽度为 29.8 分（量表为 0–100 的情感温度计）——范围极大，但这就是该任务下诚实的不确定性该有的样子。第二，Pew 的案例最令人不安：朴素区间在 8 个预测波次中一个都没有包含真值，因为合成偏差是系统性的，而非随机噪声。再多的合成受访者也无济于事。这正是关键所在。
\n\n意味着一项合成研究的可信度，取决于你能用来校准它的真实数据历史。三点实践含义：
\n同样的逻辑也适用于定性研究。如果你用 Digital Twin Panel 或 Synthetic Focus Group 做早期探索，严谨的做法是在部分研究中继续做真实访谈，以便观察模拟版本偏移了多少。Qualitati 的 AI Interviewer 与各项合成工具，正是为与真实数据收集并行使用而设计的，而非取代它。
\n\n作者直言不讳。覆盖率保证是在任务分布上边际成立的，而非以某一具体任务的特征为条件——因此即便流程本身正确、平均意义上无误，单项研究仍可能严重偏离，这一点与 conformal prediction 类似。该方法还要求历史任务具备真实数据；它免去的是为当前任务收集真实数据的需要，而不是研究整体对真实数据的需要。此外，界定一个真正可交换的任务总体，是一项没有算法能替你做的判断。
\n论文中的扩展缓解了第一项约束：加权变体在可交换性仅近似成立时能够平滑退化；混合版本则在你同时拥有部分真实数据与合成数据时，对两类区间取交集。
\n\n并非如此。这说明的是它们的不确定性长期被错误报告。论文中校准后的区间是有效的——只是很宽。宽而诚实的区间可用于探明方向与初筛；窄而错误的区间则任何用途都谈不上。
\n\n实验中的任务数量在数十量级——ANES 有 33 项历史任务，Pew 分析使用 40 个校准波次，autorater 研究中有 73 个留一法模型。由于关键是取经验分位数，历史任务的数量比单个任务内受访者的数量更重要。
\n\n适用。第三项基准就是 AI 模型评测——涵盖 74 个模型的 280,737 组「人类对 autorater」比较，其中「合成数据」指的是由 LLM 充当评委、替代人类评分者。任何以模型替代人工标注的场景，结构都是一样的。
\n\n无法获得形式化的保证。若在可比的历史任务上没有真实观测，就没有任何东西可用来校准合成差距；论文明确指出，那种情况下推断是不可能的。
\n\n原始文献：Lezhi Tan 与 Tijana Zrnic，《Valid Inference with Synthetic Data via Task Exchangeability》，arXiv 预印本 arXiv:2606.13629（2026 年 6 月，2026 年 8 月修订）。
\n\n最后更新：2026 年 8 月 25 日。本文是对第三方研究的独立编辑性摘要，与作者无关联、亦未获其背书；该预印本尚未完成同行评审。
","related":[{"slug":"ai-chatbot-qualitative-interviews-lessons-2026","title":"AI 聊天机器人访谈仅需 €0.04？一项 2026 年研究的启示","description":"AI 聊天机器人能取代定性访谈员吗？一项 2026 年研究分析了 74 场机器人主持的访谈，发现数据收集成本低、参与度高，但深度有限。","category":"研究方法论","date":"2026-10-06","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-inductive-content-analysis-survey-responses-2026","title":"GPT-5 能做问卷文本的归纳式内容分析吗？2026 年研究","description":"GPT-5 能做归纳式内容分析吗？一项 2026 年研究分析了 903 条问卷回答，发现人机一致性为中等（编码 ARI 0.61、主题 0.54），且因题目而异。","category":"研究方法论","date":"2026-10-05","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-human-surrogates-item-mean-personas-2026","title":"更丰富的人设能让 LLM 成为人类替身吗？2026 年研究检验","description":"一项覆盖逾 400,000 名参与者的 2026 年研究发现：LLM 人类替身能复现题目均值，却只能解释 3.05% 的个体差异，更丰富的人设也无济于事。","category":"研究方法论","date":"2026-10-01","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}