LLM 模拟的用户观点稳定吗？并不可靠。Zhang、Shan、Lyu、Wei 与 Luo 在 2026 年发表的一项审计研究（已被 Findings of EMNLP 2026 接收）改写了 1,821 段 Reddit 对话中的一条消息，再让 GPT-5.2 重新模拟同一位用户。中性的同义改写几乎不改变模拟立场；而补充论点和表情包（meme）平均使立场偏移约 45–49%。
这对使用合成受访者、数字孪生或模拟焦点小组的研究者很重要。如果只是把别人对模拟对象说的话换个说法，模拟对象的观点就随之改变，那么你读到的“观点”在很大程度上可能来自提示词，而不只是人设本身。下面我们介绍这项研究测试了什么、发现了什么，以及如何设计经得起此类审计的合成研究。
这项研究测试了什么？
研究检验的是：当周围对话以受控方式被修改时，LLM 为真实社交媒体用户模拟出的立场能否保持不变。作者称之为反事实语境修改（counterfactual context revision）。论文题为“Revising Context, Shifting Simulated Stance: Auditing LLM-Based Stance Simulation in Online Discussions”，可在 arXiv（2606.06443）查阅。
数据来自 Reddit 上关于三个 AI 模型家族的讨论：DeepSeek、Claude 和 Llama。据 Zhang 等（2026）报告，语料包含 1,821 个对话实例，来自 97 个子版块、416 个帖子和 851 位目标用户。对每段对话，模拟器先推断目标用户的立场（正面、中立或负面）；随后只改写另一位用户的最后一条消息，在其余内容完全不变的情况下再次推断立场。
四种改写策略
- 同义改写（Paraphrase）——内容不变，措辞不同。这是对照组：稳定的模拟不应因此改变。
- 解释（Explain）——澄清消息内容并回应顾虑，但不改变实质。
- 补充（Add）——加入新的支持性论点或框架，同时保持事实一致。
- 表情包（Meme）——用基于五种常见模板之一生成的表情包图片替换该消息。
立场偏移按简单量表计分（负面 = −1，中立 = 0，正面 = +1），因此平均方向性偏移反映了改写后模拟群体整体移动了多远。
基线模拟有多准确？
在任何改写之前，模拟器对真实用户立场的还原相当不错。Zhang 等（2026）报告，在原始对话上的总体准确率为 77.64，宏平均 F1 为 78.10，三个话题的得分相近。换言之，审计的起点是一个在标准准确率检验中表现合格的模拟器。关键正在于此：通过准确率测试，并不能说明模拟是稳定的。
模拟立场偏移了多少？
实质性改写大幅改变了模拟立场，中性改写则没有。下表转录了作者报告的平均方向性偏移（以 GPT-5.2 作为立场模拟器）。百分比是相对于原始对话推断出的平均立场而言。
| 话题 | 原始平均立场 | 同义改写 | 解释 | 补充 | 表情包 |
|---|---|---|---|---|---|
| Claude | 0.234 | +0.002 (+0.8%) | +0.056 (+23.8%) | +0.113 (+48.4%) | +0.141 (+60.3%) |
| DeepSeek | 0.170 | −0.011 (−6.7%) | −0.008 (−4.5%) | +0.029 (+17.2%) | +0.076 (+44.4%) |
| Llama | 0.133 | −0.010 (−7.6%) | +0.067 (+50.0%) | +0.125 (+93.9%) | +0.051 (+38.6%) |
| 平均 | 0.179 | −0.007 (−4.0%) | +0.031 (+17.5%) | +0.080 (+44.8%) | +0.088 (+49.3%) |
有三个规律值得注意：
- 对照组表现正常。同义改写使平均值变化 −0.007，接近于零。模拟器并非单纯充满噪声。
- 说服性内容会改变立场。补充论点使平均值偏移 +44.8%，表情包为 +49.3%。整段对话中只改一条消息就足够了。
- 不同话题的效应并不均衡。在 Llama 相关讨论中，“补充”几乎使平均立场翻倍（+93.9%）；在 DeepSeek 上仅为 +17.2%。同样的改写在不同场景下产生的偏移并不相同。
作者还报告了立场转变率。补充论点尤其善于把原本负面的预测推向中立或正面；表情包则以平均 17.6% 的比例把原本中立的预测转为正面。他们指出，表情包带来的偏移更大，但“反向效应”也更多，即模拟用户朝相反方向移动。
图片会改变模拟观点吗？
会，至少有一定影响。在消融实验中，完整表情包条件平均使 23.1% 的预测转向中立或正面。把表情包图片换成白底纯文字后，这一比例降至 21.6%；用文字说明替代图片则约为 20%。但规律并不一致：在 Llama 相关讨论中，不使用模板、只做幽默化改写的版本得分最高（25.8%）。稳妥的解读是：多模态框架会在文字之外进一步增加敏感性，而不是图片总占主导。
这是缺陷还是特性？
取决于你希望模拟做什么。这篇论文审计的是敏感性，而非真实的观点变化：它并未证明真实的 Reddit 用户会发生同等幅度的转变。如果你用模拟用户来探索一条信息可能引起怎样的反应，对说服性框架的敏感恰恰有用；但如果你把模拟样本当作对人群观点的稳定测量，这种敏感就是误差来源，因为语境设置中细小而随意的选择都可能改变结果。
作者也提示了双重用途风险：同一改写流程可能被用来制作说服性内容，或伪造公众舆论的表象。
对使用合成受访者的研究者意味着什么
应把任何一次合成运行视为来自一个对语境敏感的系统的一次抽样，而不是对人设信念的固定读数。从研究设计中可以引申出以下实用步骤：
- 设置同义改写对照。用中性措辞重新运行刺激材料。如果结果变化，你的发现关乎措辞，而不是受众。
- 改变语境，而不仅是随机种子。调整模拟受访者看到的顺序、措辞和周边消息，并报告结果的分布范围。
- 对图片和表情包格外谨慎。视觉刺激会额外施加影响，应单独预测试。
- 使用不止一个模拟器。论文检验了跨模拟器和提示词的稳健性；多个模型一致的结论比单一模型的回答更有说服力。
- 用真人验证。用模拟来生成假设、压力测试材料，再通过真实访谈加以确认。
如果你在 Synthetic Focus Group（合成焦点小组）中运行模拟讨论，加一组同义改写对照既便宜又快捷。对于重要决策，请通过 AI Interviewer（AI 访谈员）研究跟进真实受访者，让最终证据来自真人，而不是提示词。
常见问题
什么是反事实语境修改？
这是一种审计方法：先推断模拟用户的立场，再以受控方式改写对话中的某一部分，然后再次推断立场。由于其余内容保持不变，任何变化都由这次改写引起。
测试的是哪个模型？
主要结果以 GPT-5.2 作为立场模拟器，数据是 Reddit 上关于 DeepSeek、Claude 和 Llama 的讨论。论文还报告了跨模拟器、提示词、解码设置和话题的稳健性检验。
这是否意味着合成受访者毫无用处？
不是。基线模拟与真实用户立场的宏平均 F1 达到 78.10。研究的发现是：准确性与稳定性是两种不同的属性，合成研究应同时检验两者。
真人会以同样的方式改变想法吗？
研究没有回答这个问题。它测量的是模拟对改写的反应，而非人类的反应；与真实观点变化的对照验证留待未来研究。
最后更新：2026 年 11 月 13 日。本文是对 Zhang、Shan、Lyu、Wei 与 Luo（2026）第三方研究的独立编辑摘要；Qualitati 与作者无任何关联。完整方法与结果请参阅原始论文。