角色提示（persona prompting）——在向 LLM 提问之前先告诉它\"你是一位 45 岁、住在俄亥俄州、高中学历的女性\"——并不能可靠地让它的回答更接近真人。一项 2026 年的研究基于超过 70,000 组\"受访者—题目\"配对发现，加入人口统计角色设定在总体上没有带来稳定提升，在部分子群体上反而降低了准确率。
\n\n研究检验的是：人口统计条件化能否让 LLM 的问卷作答更贴近真人。Taday Morocho、Cima、Fagni、Avvenuti 与 Cresci（2026）在 ACM Web Conference 2026 会议配套论文集中发表了这项工作，他们采用世界价值观调查（World Values Survey）的美国微观数据，构建了超过 70,000 组\"受访者—题目\"实例——即把每位真实受访者的人口统计特征、一道真实题目及其实际作答一一配对。
\n两个开放权重对话模型 Llama-2-13B 与 Qwen3-4B 在两种条件下作答：原始条件（只给题目）与角色条件（题目之前附上该受访者的人口统计画像）。二者都与一个在可选项中随机作答的基线进行比较。
\n\n在总体层面上几乎没有帮助。作者用两种方式打分：严格相似度（Hard Similarity, HS），即与真人所选选项完全一致；以及宽松相似度（Soft Similarity, SS），一种基于距离的指标，当模型在顺序量表上落点接近正确答案时给予部分分数。
\n\n| 条件 | 模型 | 严格相似度 | 宽松相似度 |
|---|---|---|---|
| 随机作答基线 | — | 0.273 | 0.537 |
| 原始条件 | Llama-2-13B | 0.370 | 0.621 |
| 角色条件 | Llama-2-13B | 0.366 | 0.612 |
| 原始条件 | Qwen3-4B | 0.391 | 0.627 |
| 角色条件 | Qwen3-4B | 0.398 | 0.627 |
有两点值得注意。第一，加入角色设定后指标只在小数点后几位上下浮动——Llama-2-13B 在两个指标上都下降，Qwen3-4B 在严格匹配上略有上升、在宽松指标上持平。用作者的话说，角色提示\"并未在不同模型间带来一致的总体提升\"。
\n第二点更容易被忽略：即便是表现最好的配置，也只有约 40% 的题目与真人作答一致，而随机作答为 27%。模型确实优于随机，但远远谈不上可以替代真实受访者。
\n\n因为它只是把误差挪了位置，而不是消除误差。论文最重要的发现是：角色效应是异质的——大多数题目几乎没有变化，而少数题目和一些代表性不足的人口群体承担了不成比例的失真。
\n他们针对 Llama-2-13B 的教育程度分层结果说明了这一点。对于低教育程度受访者，严格相似度从 0.362（原始条件）跌至 0.329（角色条件）；对于高教育程度受访者，则从 0.375 升至 0.384。总体均值看似稳定，但在均值之下，模型恰恰在研究者最想通过角色设定去代表的那个群体上变得更差了。
\n作者的结论是，人口统计条件化\"会以损害子群体保真度的方式重新分配误差，并可能误导下游分析\"。这比\"合成数据并不完美\"要严厉得多：它意味着误差与人口统计特征相关——而这恰恰会摧毁任何做群体间比较的分析。
\n\n三点实用启示：
\n最稳妥的流程仍然是：合成用于设计，真人用于取证。先用模拟受访者打磨工具，再通过 AI 访谈员 或常规招募把研究跑在真实受访者身上，然后才把任何结论作为发现报告出去。
\n\n并不稳定。在超过 70,000 组\"受访者—题目\"实例上，Taday Morocho 及其同事（2026）没有发现人口统计条件化带来明确的总体提升；受测的两个模型中有一个在两项指标上都略有下降。
\n在单个封闭式题目上不行。本研究中表现最好的条件与真人作答一致的比例约为 40%，随机作答为 27%——优于随机，但远不足以替代。
\n两个开放权重对话模型：Llama-2-13B 与 Qwen3-4B。结论未必能推广到更大的前沿模型，不过作者指出的机制——误差在子群体间的再分配——并不明显依赖于模型规模。
\n用同一总体的真实数据做验证；对你打算比较的每一个子群体分别报告拟合度；并在方法部分清楚披露这是模拟数据。
\n\nTaday Morocho, E. E., Cima, L., Fagni, T., Avvenuti, M., & Cresci, S. (2026). Assessing the Reliability of Persona-Conditioned LLMs as Synthetic Survey Respondents. Companion Proceedings of the ACM Web Conference 2026 (WWW Companion '26), Dubai. 预印本：arXiv:2602.18462
\n\n最后更新：2026 年 8 月 27 日。
\n本文是对第三方研究的独立编辑性综述。QualiTaTi 与论文作者无关联，文中所有数据均引自已发表的论文。
","related":[{"slug":"ai-chatbot-qualitative-interviews-lessons-2026","title":"AI 聊天机器人访谈仅需 €0.04？一项 2026 年研究的启示","description":"AI 聊天机器人能取代定性访谈员吗？一项 2026 年研究分析了 74 场机器人主持的访谈，发现数据收集成本低、参与度高，但深度有限。","category":"研究方法论","date":"2026-10-06","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-inductive-content-analysis-survey-responses-2026","title":"GPT-5 能做问卷文本的归纳式内容分析吗？2026 年研究","description":"GPT-5 能做归纳式内容分析吗？一项 2026 年研究分析了 903 条问卷回答，发现人机一致性为中等（编码 ARI 0.61、主题 0.54），且因题目而异。","category":"研究方法论","date":"2026-10-05","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-human-surrogates-item-mean-personas-2026","title":"更丰富的人设能让 LLM 成为人类替身吗？2026 年研究检验","description":"一项覆盖逾 400,000 名参与者的 2026 年研究发现：LLM 人类替身能复现题目均值，却只能解释 3.05% 的个体差异，更丰富的人设也无济于事。","category":"研究方法论","date":"2026-10-01","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}