简短回答：目前还做不到真实还原。卡内基梅隆大学 2026 年的一项研究让 451 名真实用户和 31 个 LLM 用户模拟器完成同样的客服任务。表现最好的模拟器在作者提出的 User-Sim Index 上得分 76.0，而不同真人组之间的一致性为 92.7。模拟用户过于配合、过于礼貌、风格过于单一，而且对与之对话的 AI 打分比真人更宽容。
合成用户如今已是常见的捷径：产品团队用 LLM“顾客”压力测试聊天机器人，研究者用模拟受访者试跑访谈提纲，智能体开发者用模拟用户给系统打分。这些做法都默认模拟器的行为大致像真人。论文 “Mind the Sim2Real Gap in User Simulation for Agentic Tasks”（Zhou、Sun、Ma、Xie、Liu、Du、Welleck、Yang、Neubig、Wu 与 Sap，2026；已被 COLM 2026 接收）直接检验了这一假设，其结论的意义远不止于智能体基准测试。
\n\n研究比较了真人与 LLM 模拟器在同一组对话中扮演顾客时的表现。作者使用 τ-bench——一个涵盖航空和零售客服任务的基准——并用真人而不是模型完整跑了一遍流程。据 Zhou 等人（2026）报告，真人一侧共有 451 名通过 Prolific 招募的参与者，分三个独立批次完成 165 项任务。对面的 AI 智能体固定为 GPT-5.2，因此任何差异都只来自扮演用户的是谁。
\n\n模拟器一侧共测评了 31 个模型：18 个闭源模型、9 个开源模型，以及 4 个专门为用户模拟或“像人”而微调的模型。每段对话结束后，真人和模拟器都要就任务是否成功以及效率、拟人程度、交互流畅度等质量维度打分。正是这第二步让这篇论文对研究者格外有用：它不仅衡量模拟器是否表现得像人，还衡量它们是否评判得像人。
\n\n他们把差距拆成行为差距和评价差距两部分，再合成一个 0–100 分的综合指标：User-Sim Index（USI）。
\n\n四项行为得分比较的是模拟器与真人特征在总体层面的分布，因此模拟器不需要模仿某个具体的人，只需要整体上像这群人。作者强调，USI 只是一个汇总，真正有诊断价值的是各分项得分。
\n\n最好的模拟器得分在 70 多分，明显低于真人基准。三个真人批次之间的一致性给出的上限是 92.7。下表列出 Zhou 等人（2026）报告的部分结果。
\n\n| 用户 | 风格（D1） | 澄清（D3） | 评分一致性（Eval） | USI |
|---|---|---|---|---|
| 真人（批次之间） | 87.4 | 88.0 | 97.4 | 92.7 |
| DeepSeek-V3.1 | 45.1 | 74.5 | 74.3 | 76.0 |
| Gemini 2.0 Flash | 51.6 | 68.2 | 73.7 | 74.7 |
| GPT-5.1 | 47.3 | 73.3 | 72.1 | 73.5 |
| HumanLM-opinion（微调模型） | 30.1 | 38.5 | 61.6 | 46.9 |
有两个规律很突出。第一，对表中每个通用模型而言，沟通风格都是最弱的一项：模拟器说起话来就是不像人。第二，为“像人”而微调的模型并没有胜出。HumanLM-opinion 的得分远低于这里的通用模型，这与作者的核心结论一致：更强的通用能力不一定带来更真实的模拟，贴上“拟人”标签也不行。
\n\n模拟用户比真实顾客更友善、更啰嗦、也更有条理。论文形容它们过度配合、风格单一，几乎没有真实用户常有的沮丧和含糊。以下是报告中的几组对比：
\n\n作者把这种结果称为“简单模式”：配合度高的用户让智能体的任务变得更容易，因此用模拟器测出的成功率会高于真人基线。
\n\n这是研究者最应该注意的发现。模拟器给对话打分时，在各项质量维度上都比真人更正面。据论文报告，GPT-5.1 作为模拟用户时，把助手的拟人程度高估了评分量表的 55%，把总体评分高估了 18%。换句话说，让一个 AI 扮演顾客再去评价另一个 AI，它会对后者网开一面。
\n\n对于用合成受访者来评估产品、原型或访谈流程的人来说，风险可以直白地概括为：合成样本往往会说结果比真人认为的更好。
\n\n这项研究针对的是客服智能体，但其逻辑适用于大多数合成受访者研究。我们对研究实践的解读如下：
\n\n如果想在正式调研前检验研究方案，Synthetic Focus Group 是一个合理的演练步骤；而上述发现也正说明，之后应当用 AI Interviewer 与真实受访者进行正式访谈。
\n\n证据来自两个客服领域、一个固定的 AI 智能体，参与者大多是在线招募的英语使用者，他们是在扮演顾客，而不是在处理自己的真实问题。作者还指出，他们所用的 τ-bench 版本存在已知的任务和奖励问题，不过各条件下的任务保持一致。在开放式访谈、健康领域或其他文化中，这一差距可能更大，也可能更小。
\n\n它指 LLM 模拟用户在行为和评价上与真人之间的差异。Zhou 等人（2026）从行为（风格、信息透露、澄清、出错反应）和评价（成功率校准与任务后评分）两方面来衡量它。
\n\n在论文的主表中，DeepSeek-V3.1 的 User-Sim Index 最高，为 76.0，Gemini 2.0 Flash 和 GPT-5.1 紧随其后。但它们都明显低于真人组之间 92.7 的一致性。
\n\n在这项研究中并没有。User-Sim Index 最高分都出自通用模型，而参测的 4 个专用模型之一 HumanLM-opinion 只得到 46.9 分。
\n\n用于试跑和压力测试可以。若要得出关于真人行为或满意度的结论，这项研究表明合成用户过于配合、过于正面，无法取代真实受访者。
\n\n最后更新：2026 年 11 月 6 日
\n\n本文是 Qualitati 研究团队对第三方研究所作的独立编辑性摘要，与论文作者无关联，也未获其背书。完整方法与结果请参阅原始论文。
\n","related":[{"slug":"interviewbench-ai-interviewer-llm-benchmark-2026","title":"AI 访谈者能问出真实答案吗？InterviewBench 2026 研究","description":"InterviewBench 测试了 23 个大语言模型担任 AI 访谈者：它们会问完每个问题，却常常无法引出清晰回答。本文总结关键结果及研究人员的应对建议。","category":"AI 用户研究","date":"2026-10-28","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"fast-vs-slow-silicon-sampling-2026","title":"快速 vs 慢速硅基抽样：一个提示词就够了吗？(2026)","description":"2026 年一项 GPT-5.4 研究发现，快速硅基抽样（一次提示词答完整份问卷）与慢速抽样同样可信，成本减半，但两者都丢失了大部分真实意见方差。","category":"AI 用户研究","date":"2026-10-27","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"silicon-samples-respondent-coverage-gap-2026","title":"硅基样本能替代真实受访者吗？2026 年六模型测试","description":"LLM 硅基样本能替代问卷受访者吗？2026 年一项六模型测试发现，合成人群能匹配答案分布，却覆盖不了真实受访者。","category":"AI 用户研究","date":"2026-10-26","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}