LLM 模拟的用户观点稳定吗？并不可靠。Zhang、Shan、Lyu、Wei 与 Luo 在 2026 年发表的一项审计研究（已被 Findings of EMNLP 2026 接收）改写了 1,821 段 Reddit 对话中的一条消息，再让 GPT-5.2 重新模拟同一位用户。中性的同义改写几乎不改变模拟立场；而补充论点和表情包（meme）平均使立场偏移约 45–49%。
\n\n这对使用合成受访者、数字孪生或模拟焦点小组的研究者很重要。如果只是把别人对模拟对象说的话换个说法，模拟对象的观点就随之改变，那么你读到的“观点”在很大程度上可能来自提示词，而不只是人设本身。下面我们介绍这项研究测试了什么、发现了什么，以及如何设计经得起此类审计的合成研究。
\n\n研究检验的是：当周围对话以受控方式被修改时，LLM 为真实社交媒体用户模拟出的立场能否保持不变。作者称之为反事实语境修改（counterfactual context revision）。论文题为“Revising Context, Shifting Simulated Stance: Auditing LLM-Based Stance Simulation in Online Discussions”，可在 arXiv（2606.06443）查阅。
\n\n数据来自 Reddit 上关于三个 AI 模型家族的讨论：DeepSeek、Claude 和 Llama。据 Zhang 等（2026）报告，语料包含 1,821 个对话实例，来自 97 个子版块、416 个帖子和 851 位目标用户。对每段对话，模拟器先推断目标用户的立场（正面、中立或负面）；随后只改写另一位用户的最后一条消息，在其余内容完全不变的情况下再次推断立场。
\n\n立场偏移按简单量表计分（负面 = −1，中立 = 0，正面 = +1），因此平均方向性偏移反映了改写后模拟群体整体移动了多远。
\n\n在任何改写之前，模拟器对真实用户立场的还原相当不错。Zhang 等（2026）报告，在原始对话上的总体准确率为 77.64，宏平均 F1 为 78.10，三个话题的得分相近。换言之，审计的起点是一个在标准准确率检验中表现合格的模拟器。关键正在于此：通过准确率测试，并不能说明模拟是稳定的。
\n\n实质性改写大幅改变了模拟立场，中性改写则没有。下表转录了作者报告的平均方向性偏移（以 GPT-5.2 作为立场模拟器）。百分比是相对于原始对话推断出的平均立场而言。
\n\n| 话题 | 原始平均立场 | 同义改写 | 解释 | 补充 | 表情包 |
|---|---|---|---|---|---|
| Claude | 0.234 | +0.002 (+0.8%) | +0.056 (+23.8%) | +0.113 (+48.4%) | +0.141 (+60.3%) |
| DeepSeek | 0.170 | −0.011 (−6.7%) | −0.008 (−4.5%) | +0.029 (+17.2%) | +0.076 (+44.4%) |
| Llama | 0.133 | −0.010 (−7.6%) | +0.067 (+50.0%) | +0.125 (+93.9%) | +0.051 (+38.6%) |
| 平均 | 0.179 | −0.007 (−4.0%) | +0.031 (+17.5%) | +0.080 (+44.8%) | +0.088 (+49.3%) |
有三个规律值得注意：
\n\n作者还报告了立场转变率。补充论点尤其善于把原本负面的预测推向中立或正面；表情包则以平均 17.6% 的比例把原本中立的预测转为正面。他们指出，表情包带来的偏移更大，但“反向效应”也更多，即模拟用户朝相反方向移动。
\n\n会，至少有一定影响。在消融实验中，完整表情包条件平均使 23.1% 的预测转向中立或正面。把表情包图片换成白底纯文字后，这一比例降至 21.6%；用文字说明替代图片则约为 20%。但规律并不一致：在 Llama 相关讨论中，不使用模板、只做幽默化改写的版本得分最高（25.8%）。稳妥的解读是：多模态框架会在文字之外进一步增加敏感性，而不是图片总占主导。
\n\n取决于你希望模拟做什么。这篇论文审计的是敏感性，而非真实的观点变化：它并未证明真实的 Reddit 用户会发生同等幅度的转变。如果你用模拟用户来探索一条信息可能引起怎样的反应，对说服性框架的敏感恰恰有用；但如果你把模拟样本当作对人群观点的稳定测量，这种敏感就是误差来源，因为语境设置中细小而随意的选择都可能改变结果。
\n\n作者也提示了双重用途风险：同一改写流程可能被用来制作说服性内容，或伪造公众舆论的表象。
\n\n应把任何一次合成运行视为来自一个对语境敏感的系统的一次抽样，而不是对人设信念的固定读数。从研究设计中可以引申出以下实用步骤：
\n\n如果你在 Synthetic Focus Group（合成焦点小组）中运行模拟讨论，加一组同义改写对照既便宜又快捷。对于重要决策，请通过 AI Interviewer（AI 访谈员）研究跟进真实受访者，让最终证据来自真人，而不是提示词。
\n\n这是一种审计方法：先推断模拟用户的立场，再以受控方式改写对话中的某一部分，然后再次推断立场。由于其余内容保持不变，任何变化都由这次改写引起。
\n\n主要结果以 GPT-5.2 作为立场模拟器，数据是 Reddit 上关于 DeepSeek、Claude 和 Llama 的讨论。论文还报告了跨模拟器、提示词、解码设置和话题的稳健性检验。
\n\n不是。基线模拟与真实用户立场的宏平均 F1 达到 78.10。研究的发现是：准确性与稳定性是两种不同的属性，合成研究应同时检验两者。
\n\n研究没有回答这个问题。它测量的是模拟对改写的反应，而非人类的反应；与真实观点变化的对照验证留待未来研究。
\n\n最后更新：2026 年 11 月 13 日。本文是对 Zhang、Shan、Lyu、Wei 与 Luo（2026）第三方研究的独立编辑摘要；Qualitati 与作者无任何关联。完整方法与结果请参阅原始论文。
\n","related":[{"slug":"prediction-powered-inference-ai-augment-surveys-2026","title":"AI 能增强问卷调查吗？2026 年预测驱动推断研究解读","description":"AI 能否在不取代受访者的情况下增强问卷？2026 年一项覆盖 GSS 与 NHIS 共 83 个结果变量的研究发现，预测驱动推断可带来 7–12% 的有效样本量提升。","category":"研究方法论","date":"2026-11-12","readTime":"6 分钟阅读","author":"Qualitati 研究团队"},{"slug":"tact-ai-council-thematic-analysis-2026","title":"AI 委员会做主题分析可靠吗？2026 年 TACT 研究结果","description":"三个不同家族的 LLM 组成 AI 委员会做主题分析：TACT 与人工编码的一致性达到 F1 0.72，优于单一模型。本文解读其流程、信度、成本与常见陷阱。","category":"研究方法论","date":"2026-11-05","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"validate-synthetic-survey-samples-three-validity-tests-2026","title":"如何验证合成问卷样本：三种效度检验（2026 研究）","description":"如何验证 LLM 生成的合成问卷样本？2026 年一项欧洲晴雨表研究用 4 个 LLM 检验预测效度、分布效度与实质效度，本文解读关键结果与实践清单。","category":"研究方法论","date":"2026-11-04","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}