简短回答：目前还做不到真实还原。卡内基梅隆大学 2026 年的一项研究让 451 名真实用户和 31 个 LLM 用户模拟器完成同样的客服任务。表现最好的模拟器在作者提出的 User-Sim Index 上得分 76.0，而不同真人组之间的一致性为 92.7。模拟用户过于配合、过于礼貌、风格过于单一，而且对与之对话的 AI 打分比真人更宽容。
合成用户如今已是常见的捷径：产品团队用 LLM“顾客”压力测试聊天机器人，研究者用模拟受访者试跑访谈提纲，智能体开发者用模拟用户给系统打分。这些做法都默认模拟器的行为大致像真人。论文 “Mind the Sim2Real Gap in User Simulation for Agentic Tasks”（Zhou、Sun、Ma、Xie、Liu、Du、Welleck、Yang、Neubig、Wu 与 Sap，2026；已被 COLM 2026 接收）直接检验了这一假设，其结论的意义远不止于智能体基准测试。
这项研究测试了什么？
研究比较了真人与 LLM 模拟器在同一组对话中扮演顾客时的表现。作者使用 τ-bench——一个涵盖航空和零售客服任务的基准——并用真人而不是模型完整跑了一遍流程。据 Zhou 等人（2026）报告，真人一侧共有 451 名通过 Prolific 招募的参与者，分三个独立批次完成 165 项任务。对面的 AI 智能体固定为 GPT-5.2，因此任何差异都只来自扮演用户的是谁。
模拟器一侧共测评了 31 个模型：18 个闭源模型、9 个开源模型，以及 4 个专门为用户模拟或“像人”而微调的模型。每段对话结束后，真人和模拟器都要就任务是否成功以及效率、拟人程度、交互流畅度等质量维度打分。正是这第二步让这篇论文对研究者格外有用：它不仅衡量模拟器是否表现得像人，还衡量它们是否评判得像人。
作者如何衡量 Sim2Real 差距？
他们把差距拆成行为差距和评价差距两部分，再合成一个 0–100 分的综合指标：User-Sim Index（USI）。
- 沟通风格（D1）：礼貌程度、话语长度以及 LLM 特有的标点习惯。
- 信息模式（D2）：用户每一轮透露多少信息。
- 澄清行为（D3）：提问和表达不确定性。
- 出错反应（D4）：出问题时的情绪、指责性语言和策略转换。
- 结果校准（ECE）：在难易不同的任务上，智能体面对模拟器时的成功率是否与面对真人时一致。
- 评价一致性（Eval）：模拟器的任务后评分与真人评分有多接近。
四项行为得分比较的是模拟器与真人特征在总体层面的分布，因此模拟器不需要模仿某个具体的人，只需要整体上像这群人。作者强调，USI 只是一个汇总，真正有诊断价值的是各分项得分。
LLM 用户模拟器离真人还有多远？
最好的模拟器得分在 70 多分，明显低于真人基准。三个真人批次之间的一致性给出的上限是 92.7。下表列出 Zhou 等人（2026）报告的部分结果。
| 用户 | 风格（D1） | 澄清（D3） | 评分一致性（Eval） | USI |
|---|---|---|---|---|
| 真人（批次之间） | 87.4 | 88.0 | 97.4 | 92.7 |
| DeepSeek-V3.1 | 45.1 | 74.5 | 74.3 | 76.0 |
| Gemini 2.0 Flash | 51.6 | 68.2 | 73.7 | 74.7 |
| GPT-5.1 | 47.3 | 73.3 | 72.1 | 73.5 |
| HumanLM-opinion（微调模型） | 30.1 | 38.5 | 61.6 | 46.9 |
有两个规律很突出。第一，对表中每个通用模型而言，沟通风格都是最弱的一项：模拟器说起话来就是不像人。第二，为“像人”而微调的模型并没有胜出。HumanLM-opinion 的得分远低于这里的通用模型，这与作者的核心结论一致：更强的通用能力不一定带来更真实的模拟，贴上“拟人”标签也不行。
模拟用户的行为与真人有哪些不同？
模拟用户比真实顾客更友善、更啰嗦、也更有条理。论文形容它们过度配合、风格单一，几乎没有真实用户常有的沮丧和含糊。以下是报告中的几组对比：
- 简短回复：真人有 29.0% 的发言很简短，而作为模拟器的 GPT-4o 只有 1.0%。
- 礼貌程度：GPT-4o 有 49.0% 的发言带有礼貌用语，真人只有 15.3%。
- 信息过量：UserLM-8b 每轮塞进 4.8 个标识信息，真人为 2.6 个——也就是说，它会主动报出订单号等细节，而真人通常要被问到才会提供。
- 含糊其辞：GPT-4o 在 14.6% 的发言中表达不确定，约为真人比例 7.3% 的两倍。
- 频繁变招：GPT-4o（19.1%）和 CoSER（16.5%）转换策略的频率是真人（8.4%）的两倍以上。
作者把这种结果称为“简单模式”：配合度高的用户让智能体的任务变得更容易，因此用模拟器测出的成功率会高于真人基线。
模拟用户能否替代真人反馈？
这是研究者最应该注意的发现。模拟器给对话打分时，在各项质量维度上都比真人更正面。据论文报告，GPT-5.1 作为模拟用户时，把助手的拟人程度高估了评分量表的 55%，把总体评分高估了 18%。换句话说，让一个 AI 扮演顾客再去评价另一个 AI，它会对后者网开一面。
对于用合成受访者来评估产品、原型或访谈流程的人来说，风险可以直白地概括为：合成样本往往会说结果比真人认为的更好。
这对定性研究和 UX 研究者意味着什么
这项研究针对的是客服智能体，但其逻辑适用于大多数合成受访者研究。我们对研究实践的解读如下：
- 把模拟用户用于演练，而不是作为证据。它们在试跑讨论提纲、发现逻辑漏洞时快速且可重复，但很难代表真人会如何反应、抱怨或评价一段体验。
- 预期模拟数据会“过于干净”。真实受访者会简短作答、不问不说、还会不耐烦。一份在合成用户面前运行顺畅的提纲，换成真人仍可能卡住。
- 不要把合成评分当作满意度数据。评价差距大且偏正面，基于模拟器的评分很可能高估质量。
- 用一小批真人样本做验证。论文本身的方法——让真人完成同样的任务并比较分布——就是任何团队都能缩小规模照搬的模板。
如果想在正式调研前检验研究方案，Synthetic Focus Group 是一个合理的演练步骤；而上述发现也正说明，之后应当用 AI Interviewer 与真实受访者进行正式访谈。
这项研究有哪些局限？
证据来自两个客服领域、一个固定的 AI 智能体，参与者大多是在线招募的英语使用者，他们是在扮演顾客，而不是在处理自己的真实问题。作者还指出，他们所用的 τ-bench 版本存在已知的任务和奖励问题，不过各条件下的任务保持一致。在开放式访谈、健康领域或其他文化中，这一差距可能更大，也可能更小。
常见问题
用户模拟中的 Sim2Real 差距是什么？
它指 LLM 模拟用户在行为和评价上与真人之间的差异。Zhou 等人（2026）从行为（风格、信息透露、澄清、出错反应）和评价（成功率校准与任务后评分）两方面来衡量它。
哪个 LLM 是最好的用户模拟器？
在论文的主表中，DeepSeek-V3.1 的 User-Sim Index 最高，为 76.0，Gemini 2.0 Flash 和 GPT-5.1 紧随其后。但它们都明显低于真人组之间 92.7 的一致性。
经过微调、更“像人”的模型能更好地模拟用户吗？
在这项研究中并没有。User-Sim Index 最高分都出自通用模型，而参测的 4 个专用模型之一 HumanLM-opinion 只得到 46.9 分。
我可以用合成受访者代替真实访谈吗？
用于试跑和压力测试可以。若要得出关于真人行为或满意度的结论，这项研究表明合成用户过于配合、过于正面，无法取代真实受访者。
最后更新：2026 年 11 月 6 日
本文是 Qualitati 研究团队对第三方研究所作的独立编辑性摘要，与论文作者无关联，也未获其背书。完整方法与结果请参阅原始论文。