AI 用户研究

LLM 数字孪生如何组织问卷数据?2026 年研究发现

Qualitati 研究团队

2026-11-10

7 分钟阅读


简短回答:把问卷数据交给模型之前,先把它整理好。在芝加哥大学布斯商学院 2026 年的一项研究中,基于结构化画像(背景、决策方式、评价偏好)构建的 LLM 数字孪生,在预测受访者留出题目的作答时,准确率比直接使用原始问卷记录高约 1.2 个百分点。增益主要来自“评价偏好”画像,并集中体现在定价类题目上。

最后更新:2026 年 11 月 10 日

数字孪生是指用某个真实个体过去的作答去提示 LLM,让它预测此人会如何回答新问题。常见的设计问题是:要给模型喂多少历史数据?新预印本 Structuring Survey Histories for LLM Digital Twins 的作者是芝加哥大学布斯商学院的 Iris Ye、Tianze Deng 和 Ozan Candogan,他们问的是另一个问题:历史数据如何组织是否重要?该论文是 NeurIPS 2026 SocialAgent 研讨会的终版(camera-ready)论文。

这项研究测试了什么?

研究检验的是:一个固定的三段式画像,能否比原始问卷记录更准确地预测个人作答。据 Ye、Deng 和 Candogan(2026)介绍,作者使用了公开基准 Twin-2K-500(Toubia et al., 2025):2,058 名受访者在三轮调查中回答了 500 道题,其中来自 17 项任务的 88 道题被留出用于评估。

他们提出的表示方法称为 BDE,将每位受访者的作答拆分为三个画像:

  1. 背景(Background):此人是谁、知道什么、相信什么。涵盖人口统计信息、大五人格、价值观、政治观点以及经测试的金融知识。
  2. 决策方式(Decision procedure):此人在不确定情境下如何推理,依据包括认知需求、认知闭合需求、最大化倾向以及认知测试中的错误模式。
  3. 评价偏好(Evaluation):此人看重什么,包括预算约束、风险与时间偏好、社会偏好和支付意愿。

每个画像由 gpt-4.1-mini 在 temperature 0 下根据问卷记录生成,记录中从不包含留出题目的答案。随后由两个模拟器 gpt-5.4-nano 和 gpt-5.4-mini 以该人物身份回答留出题目。评估覆盖 100 名受访者,每人计分 120 个条目(80 个认知偏差条目和 40 个定价条目)。差异检验采用以受访者为单位的配对 bootstrap,重抽样 10,000 次。

结构化画像比原始问卷记录更好吗?

是的,但幅度不大。完整推断的 BDE 画像在 gpt-5.4-nano 上整体准确率比原始记录高 1.27 个百分点(p < 0.01),在 gpt-5.4-mini 上高 1.19 个百分点(p < 0.001)。最明显的提升出现在定价题上,nano 为 +1.85 个百分点,mini 为 +2.10 个百分点。认知偏差题的准确率仅在 nano 上显著提升(+0.84 个百分点)。

研究并没有证明“越短越好”。作者认为增益来自画像所包含的内容,而不是压缩本身。研究通过四组对比来定位增益来源:

对比隔离的因素gpt-5.4-nano(整体)gpt-5.4-mini(整体)
BDE vs. 原始记录所有因素合计+1.27 pp(p < 0.01)+1.19 pp(p < 0.001)
BDE vs. 等长自由格式画像三段式结构+1.05 pp(p < 0.05)+0.57 pp(不显著)
深度推断 vs. 浅层推断提取时允许的推断程度+0.06 至 +0.83 pp(不显著)+0.11 至 +0.27 pp(不显著)
在背景 + 决策方式之上加入评价偏好偏好内容+1.44 pp(p < 0.001)+1.22 pp(p < 0.001)

来源:Ye、Deng & Candogan(2026),表 1 至表 4。pp = 准确率百分点,n = 100 名受访者。

画像中哪一部分最重要?

评价偏好最重要。在背景 + 决策方式之上加入评价偏好,使定价准确率在 nano 上提升 3.40 个百分点,在 mini 上提升 2.60 个百分点(均 p < 0.001)。而在背景 + 评价偏好之上加入决策方式,在任何指标上都没有显著提升。

对于为产品或定价研究构建数字孪生的人来说,这一结果很有用。一个人是否会以某个价格购买某件商品,更多取决于预算、风险态度和支付意愿,而不是推理风格。把这些偏好显式呈现在画像里,模拟器就更容易用上它们。

更深的推断或格式会有帮助吗?

不会。让提取模型进行更激进的推断(从标注过的人口统计推断,到广泛推断和自我报告可靠性评估),在两个模拟器上都没有带来显著提升。删除 BDE 文本中的章节标题,也没有造成显著差异。起作用的是每个部分被设计用来提取的内容,而不是 markdown 标签。

自由格式对比也支持这一点。由同一模型、在同样推断规则下撰写、长度与 BDE 相差不超过 10% 的自由格式画像,在定价题上依然更不准确:nano 低 2.15 个百分点(p < 0.01),mini 低 1.38 个百分点(p < 0.05)。

研究者应在多大程度上相信这些结果?

可以把它看作一个控制严谨但范围较窄的结果。作者自己列出了四点局限:

  • 只有一个受访者样本、一个基准,以及来自同一模型家族的两个模型。
  • 自由格式对比同时改变了“提取什么”和“如何组织”,因此无法将两者区分开。
  • 评价偏好的消融实验没有等长对照,因此偏好内容与额外相关信息相互混淆。
  • 整体得分中定价题占全部条目的三分之一。若对 17 项任务等权平均,只有 gpt-5.4-mini 上端到端的整体优势仍然显著,定价题的提升则不受影响。

效应量也较小,仅为 1 到 3 个百分点。论文并未声称三段式划分是最优设计,也没有声称这些画像反映了真实的心理结构。

这对使用数字孪生的研究者意味着什么

这项研究的实际启示是:围绕研究需要预测的内容来精心整理数字孪生的输入。具体有三点:

  1. 不要默认完整记录就是最佳输入。在本研究中,结构化画像在两个模拟器上都优于原始历史数据。
  2. 商业类问题要把偏好数据放在前面。预算、风险、时间偏好和支付意愿是定价题提升的主要来源。
  3. 用留出答案进行验证。本研究的设计(基于留出题目的配对比较、bootstrap 置信区间)可以作为在依赖任何数字孪生之前进行检验的模板。此前关于个体层面数字孪生准确性的研究说明了这一检验为何重要。

如果你自己开展数字孪生研究,Qualitati 数字孪生面板基于真实受访者数据构建人物画像,同样的原则也适用:在使用其预测之前,先用它没见过的答案检验它。

常见问题

什么是 LLM 数字孪生?

它是一个语言模型,被给予某个真实个体此前的作答(例如问卷答案),并被要求预测此人会如何回答新问题。它与通用的合成人物不同,因为它锚定在个人自己的数据上。

什么是 BDE 画像?

BDE 是 Ye、Deng 和 Candogan(2026)提出的固定结构。它把受访者的问卷历史拆分为背景(身份、知识、信念)、决策方式(不确定情境下如何推理)和评价偏好(看重什么,包括预算、风险和支付意愿)。

准确率提升有多大?

与原始记录相比,整体约提升 1.2 至 1.3 个百分点;加入评价偏好画像后,定价题最多提升 3.40 个百分点。这些提升在统计上显著,但幅度较小。

这篇论文经过同行评审了吗?

它是 arXiv 预印本(第 1 版,2026 年 11 月 5 日),标注为 NeurIPS 2026 研讨会的终版论文。研讨会论文经过评审,但评审程度不如期刊论文。

来源:Ye, I., Deng, T., & Candogan, O. (2026). Structuring Survey Histories for LLM Digital Twins: A Controlled Study of Background, Decision Procedure, and Evaluation Profiles. arXiv:2611.08730. SocialAgent Workshop, NeurIPS 2026.

最后更新:2026 年 11 月 10 日。本文是 Qualitati 研究团队对第三方研究的独立编辑摘要,与论文作者无关联,也未获其认可。


免费试用 Qualitati

立即开始 AI 辅助定性研究,无需信用卡。

免费开始
相关文章