如何验证合成受访者面板：2026 年方法检验

Qualitati 研究团队 · 2026-08-18 · 6 分钟阅读

验证合成受访者面板，是指在用它回答研究问题之前，先检验这个面板对刺激材料的反应是否符合一件测量仪器应有的表现——稳定、专一、次序正确。2026 年的一篇预印本提出了正是为此设计的七项检验，并展示了它如何识别出一个被贴错标签的刺激材料。

关于合成受访者的讨论大多围绕一个问题：LLM 人设是否与真实的人相符？2026 年 7 月来自博洛尼亚大学的一篇工作论文提出，这其实是第二个问题，而非第一个。在追问合成面板是否具备外部效度之前，你得先知道它是否可控——即你刻意注入其中的结构，是否能在它自己的回答里被还原出来。

这项研究检验了什么？

该论文——《Calibrating the Instrument: Controllability of an LLM-Driven Synthetic Population》，作者 Mirko Degli Esposti（博洛尼亚大学物理与天文系，2026 年 7 月）——构建了一个虚构的市镇，并在其中生成 120 位合成居民。每个人设都带有对当地机构的既定潜在信任水平：低信任 40 人、中等 40 人、高信任 40 人。

随后，面板会接触七则从明显正面到明显负面的机构公告，外加一则主题无关的安慰剂和一个无消息的对照条件。人设在每则消息前后各回答一份五题问卷。据 Degli Esposti（2026）报告，整个实验产生了 9,240 行问卷数据和 2,160 份自由文本反应记录，并在三个采样温度（0.2、0.5、0.7）下重复进行。人设模拟通过 OpenRouter 调用 DeepSeek 的 deepseek-chat 完成，全程使用意大利语。

关键在于，接受阈值是事先设定的。作者把这套设计称为合成仪器验证实验（SIVE）。

这七项验证检验分别是什么？

这是本文最具可迁移性的部分。每一项检验都回答一个你会对任何测量仪器提出的问题。

检验项	它回答的问题	报告结果
C1——人设保真度	人设是否报告了我们写入它们的态度？	机构信任维度 r = 0.891–0.911；信息充分性维度 r = 0.762–0.828（在 t = 0.2 时低于 r > 0.80 的阈值）
C2——跨复本稳定性	同一个人设在不同条件下还是同一个人吗？	r_min = 0.858–0.876；平均 r = 0.893–0.906
C3——噪声基线	有多少波动纯粹是测量噪声？	同一人设内部 σ = 0.77；跨人设 σ ≈ 1.4
C4——专一性	无关主题的安慰剂是否不会扰动信任度？	通过（阈值：变动小于 0.5 个量表刻度）
C5——敏感性	反应是否跟随刺激材料的预期效价？	t = 0.2 时信任度变化：正面消息 +0.158，负面消息 −1.650
C6——次序性	各条件的排序是否与设计一致？	Kendall's τ = 1.000（t = 0.2 与 t = 0.7）；τ = 0.905（t = 0.5）
C7——接收检查	面板真的读到消息了吗？	切题消息对信息充分性的推动远大于无消息对照

据作者报告，七项标准在所有测试温度下全部通过。明显正面条件与明显负面条件之间的信噪比约为单一人设噪声基线的 2.35 倍——可用，但余量并不宽裕。

最有价值的发现是什么？

这台"仪器"揪出了研究者自己材料中的问题。有一则消息原本被写成"弱正面"。面板对它的反应却是把信任度拉低了 0.508 个刻度——功能上就是一则负面刺激。回看自由文本反应，作者发现这则消息里包含未解决的问题、含糊其辞以及机构的被动姿态，而预设的框架把这些掩盖了。重写后的版本恢复了预期次序，并意外揭示出它与人设潜在信任水平之间的交互作用。

这就是全文论点的缩影。校准过的合成面板不只是受访者的替身；它还是一次低成本的预测试，能在你花钱去做真人调查之前告诉你：你的刺激材料并不是你以为的那个意思。

这对研究者意味着什么？

三条可落地的启示：

报告噪声基线。如果重复呈现完全相同的刺激，你的结果变量自己就会移动 0.77 个刻度，那么 0.4 个刻度的"效应"就等于没有。多数合成受访者研究从不建立这条基线，这让它们报告的效应量无从解读。
纳入安慰剂条件和无消息对照。专一性检验与接收检验能区分：面板究竟是在阅读你的刺激材料，还是在顺从地朝刚看到的内容漂移。
预先登记你的阈值。看完相关系数再决定用 r > 0.80 不叫验证。值得一提的是，本文自己的一项保真度指标在最低温度下未达标——固定阈值让这个结果显形，而不是变成可以商量的事。

如果你要构建合成面板，这套做法可以直接嵌入工作流：在正式研究之前，对你的数字孪生面板先跑一轮校准，并在 AI 问卷中沿用你对真人受访者会采用的同一套前后测问卷结构。把面板当作一台需要被刻画特性的仪器，而不是一个可以直接信任的总体——转变就在这里。

这项研究有哪些局限？

作者对此说得很明确。实验只用了单一模型、单一语言（意大利语）、一个没有现实基准的虚构市镇，而且每个潜在子群只有 40 个人设——用于子群比较偏薄。在总体层面，噪声基线还混合了真正的仪器噪声与被建模出来的人际差异。这里没有任何证据表明该面板能预测真实市民的反应；它只表明该面板的内部一致性足够好，值得拿去与真人做对照检验。

常见问题

这篇论文是否证明了合成受访者具备效度？
没有。它有意搁置外部效度，只检验内部可控性。通过全部七项检验是认真对待一个合成面板的前提条件，而不是它与真人相符的证据。

合成面板里的"噪声基线"指什么？
指把完全相同的刺激重复呈现给完全相同的人设时所产生的波动。Degli Esposti（2026）报告同一人设内部 σ = 0.77 个量表刻度。任何小于该值的效应都无法与抽样随机性区分开来。

温度设置会改变结果吗？
几乎不会。噪声基线在 t = 0.2、0.5 和 0.7 之间保持不变，条件排序在三个温度下也都成立（τ = 1.000、0.905、1.000）。调低温度并不能直接换来更高的可靠性。

没有物理学背景也能复用这套规程吗？
可以。七项检验可以归结为：人设是否报告了你写入的内容、它们是否保持自身一致、噪声有多大、是否会忽略无关刺激、反应的方向和次序是否正确，以及它们究竟有没有接收到消息。

最后更新：2026 年 8 月 18 日。本文是对第三方研究的独立编辑性摘要，与原作者无隶属关系，也未获其背书。文中数据取自该预印本，撰稿时尚未经过同行评审。