角色提示能让合成问卷回答更准吗？
Qualitati 研究团队 · 2026-08-27 · 6 分钟阅读
角色提示（persona prompting）——在向 LLM 提问之前先告诉它"你是一位 45 岁、住在俄亥俄州、高中学历的女性"——并不能可靠地让它的回答更接近真人。一项 2026 年的研究基于超过 70,000 组"受访者—题目"配对发现，加入人口统计角色设定在总体上没有带来稳定提升，在部分子群体上反而降低了准确率。
这项研究测试了什么？
研究检验的是：人口统计条件化能否让 LLM 的问卷作答更贴近真人。Taday Morocho、Cima、Fagni、Avvenuti 与 Cresci（2026）在 ACM Web Conference 2026 会议配套论文集中发表了这项工作，他们采用世界价值观调查（World Values Survey）的美国微观数据，构建了超过 70,000 组"受访者—题目"实例——即把每位真实受访者的人口统计特征、一道真实题目及其实际作答一一配对。
两个开放权重对话模型 Llama-2-13B 与 Qwen3-4B 在两种条件下作答：原始条件（只给题目）与角色条件（题目之前附上该受访者的人口统计画像）。二者都与一个在可选项中随机作答的基线进行比较。
角色提示到底有多大帮助？
在总体层面上几乎没有帮助。作者用两种方式打分：严格相似度（Hard Similarity, HS），即与真人所选选项完全一致；以及宽松相似度（Soft Similarity, SS），一种基于距离的指标，当模型在顺序量表上落点接近正确答案时给予部分分数。
| 条件 | 模型 | 严格相似度 | 宽松相似度 |
|---|
| 随机作答基线 | — | 0.273 | 0.537 |
| 原始条件 | Llama-2-13B | 0.370 | 0.621 |
| 角色条件 | Llama-2-13B | 0.366 | 0.612 |
| 原始条件 | Qwen3-4B | 0.391 | 0.627 |
| 角色条件 | Qwen3-4B | 0.398 | 0.627 |
有两点值得注意。第一，加入角色设定后指标只在小数点后几位上下浮动——Llama-2-13B 在两个指标上都下降，Qwen3-4B 在严格匹配上略有上升、在宽松指标上持平。用作者的话说，角色提示"并未在不同模型间带来一致的总体提升"。
第二点更容易被忽略：即便是表现最好的配置，也只有约 40% 的题目与真人作答一致，而随机作答为 27%。模型确实优于随机，但远远谈不上可以替代真实受访者。
为什么角色设定反而可能让结果更糟？
因为它只是把误差挪了位置，而不是消除误差。论文最重要的发现是：角色效应是异质的——大多数题目几乎没有变化，而少数题目和一些代表性不足的人口群体承担了不成比例的失真。
他们针对 Llama-2-13B 的教育程度分层结果说明了这一点。对于低教育程度受访者，严格相似度从 0.362（原始条件）跌至 0.329（角色条件）；对于高教育程度受访者，则从 0.375 升至 0.384。总体均值看似稳定，但在均值之下，模型恰恰在研究者最想通过角色设定去代表的那个群体上变得更差了。
作者的结论是，人口统计条件化"会以损害子群体保真度的方式重新分配误差，并可能误导下游分析"。这比"合成数据并不完美"要严厉得多：它意味着误差与人口统计特征相关——而这恰恰会摧毁任何做群体间比较的分析。
这对研究者意味着什么
三点实用启示：
- 不要把角色提示当作效度补丁。如果你为合成受访者辩护的理由是"我们做了人口统计条件化"，这项研究取消了这条辩护。条件化本身是一个需要自证的建模选择，而非质量保证。
- 绝不要只报告总体拟合度。一个持平的总体数字可能掩盖某个显著恶化的子群体。请分子群体报告准确率，并把任何在条件化后变差的子群体排除在合成模拟的适用范围之外。
- 让方法匹配任务。这里用的是封闭式问卷题目上的精确匹配指标——对模拟受访者而言是最严苛的考验。合成受访者依然擅长它们真正擅长的事：压力测试访谈提纲、预演刺激材料、生成有待真人验证的假设。这正是我们的 合成焦点小组 与 数字孪生样本库 的定位：一个快速预演的平面，而不是田野工作的替代品。
最稳妥的流程仍然是：合成用于设计，真人用于取证。先用模拟受访者打磨工具，再通过 AI 访谈员 或常规招募把研究跑在真实受访者身上，然后才把任何结论作为发现报告出去。
常见问题
角色提示能提升 LLM 的问卷模拟效果吗？
并不稳定。在超过 70,000 组"受访者—题目"实例上，Taday Morocho 及其同事（2026）没有发现人口统计条件化带来明确的总体提升；受测的两个模型中有一个在两项指标上都略有下降。
合成问卷受访者的准确度足以替代真人吗？
在单个封闭式题目上不行。本研究中表现最好的条件与真人作答一致的比例约为 40%，随机作答为 27%——优于随机，但远不足以替代。
研究测试了哪些模型？
两个开放权重对话模型：Llama-2-13B 与 Qwen3-4B。结论未必能推广到更大的前沿模型，不过作者指出的机制——误差在子群体间的再分配——并不明显依赖于模型规模。
在研究中使用合成受访者之前应当检查什么？
用同一总体的真实数据做验证；对你打算比较的每一个子群体分别报告拟合度；并在方法部分清楚披露这是模拟数据。
文献来源
Taday Morocho, E. E., Cima, L., Fagni, T., Avvenuti, M., & Cresci, S. (2026). Assessing the Reliability of Persona-Conditioned LLMs as Synthetic Survey Respondents. Companion Proceedings of the ACM Web Conference 2026 (WWW Companion '26), Dubai. 预印本：arXiv:2602.18462
最后更新：2026 年 8 月 27 日。
本文是对第三方研究的独立编辑性综述。QualiTaTi 与论文作者无关联，文中所有数据均引自已发表的论文。