简短回答：根据 2026 年 9 月的一项研究，答案是不可靠。墨尔本大学的研究者让基于 GPT 的合成消费者重做六个经典视觉营销实验。所有配置都正确识别了视觉特征，但没有一个复现超过六项人类效应中的两项，其中一个配置甚至得出与人类相反的结论。合成消费者只能在用人类数据校准之后才可用于初筛创意，而且绝不能用来判断不同消费者细分群体之间的差异。
合成消费者是被指示像人类受访者一样作答的 LLM 智能体。供应商如今把它们作为 logo、包装和广告预测试的工具出售，成本只是人类样本组的一小部分。支持它们的证据主要来自文本任务，例如民意调查、经济博弈和支付意愿问题。Yi-Lin Tsai 与 Yung-Hsiu (Arvin) Lai 的新预印本《Seeing Is Not Perceiving: When Synthetic Consumers Can and Cannot Pretest Visual Marketing》（arXiv，2026）检验了当刺激材料变成图像时，这些证据是否依然成立。
\n\n研究用合成受访者重做了六个知名的视觉营销实验，并将结果与已发表的人类结果进行比较。Tsai 和 Lai 从Journal of Consumer Research和Journal of Marketing Research中挑选研究，每项研究都有公开的刺激材料和明确的心理机制路径。原始人类样本量在 69 到 220 人之间。每个合成样本组都与原始样本匹配，因此每种配置共有超过 800 名合成受访者。作者对全部六个基准实验做了预注册。
\n研究设计交叉了营销人员实际能控制的两个设置：
\n每名合成受访者都通过单独的 API 调用生成，并被赋予与原始样本匹配的人口统计画像。随后它看到一张 512×512 的 PNG 图像，按原研究的因变量打分，用文字解释评分理由，并回答操纵检验问题。作者用 Sentence-BERT 和 BERTopic 分析这些文字理由，从而区分看见（正确识别物理特征）与感知（把特征与人类赋予它的消费意义联系起来）。
\n\n在零样本条件下，即提示中不含任何基准信息时，准确度很差。根据 Tsai 和 Lai（2026）的结果，没有任何配置复现超过六项效应中的两项，大多数结果不显著。下表汇总了纯文本版本的结果。作者报告称，零样本条件下 JSON 的结果与纯文本在统计上没有差异。
\n\n| 基准效应（人类结果） | GPT-4o-mini | GPT-5.4-mini |
|---|---|---|
| 1. 描述性更强的 logo 显得更真实 | 复现 | 未复现 |
| 2. 饱和度较低的图像更适合时间上较远的事件 | 未复现 | 未复现 |
| 3. 圆形 logo 显得更舒适 | 反转（p = .012） | 复现 |
| 4. 不对称 logo 显得更令人兴奋 | 未复现 | 未复现 |
| 5. 色彩饱和度越高，产品看起来越大 | 临界（p = .052） | 复现 |
| 6. 不稳定的 logo 提升安全类产品的效用感 | 未复现 | 未复现 |
新模型并没有全面胜出，它复现的是另外两项效应，而不是更多效应。作者也回应了“记忆”质疑：如果模型只是在回忆著名论文，那么最早、被引最多的效应应该复现得最好，而且不应出现反转。数据显示的情况恰恰相反。
\n\n文字理由揭示了两种失败模式。第一种是模型正确读取了特征，却只把它当作纯粹的美学属性。例如在研究 2 中，饱和度只被当作视觉属性来评判，没有与时间建立联系。第二种是模型形成了一种自洽的联想，但不是人类形成的那一种。在研究 3 中，棱角形状被联系到“支撑”，而不是人们从圆形联想到的柔软。作者将其解释为技术先验挤占了、或者与承载人类效应的心理先验相互竞争。
\n这一点很重要，因为反转比无效结果更危险。一位相信 GPT-4o-mini 预测试结果的经理会选错 logo，而所有操纵检验看起来都毫无问题。
\n\n只能部分修正。作者测试了两种上下文干预。概念证据把原论文的摘要放入系统提示。实证证据进一步加入原研究的均值、F 检验和 p 值，代表引导效果的上限。两种干预都让平均回答向人类效应靠拢，对 GPT-5.4-mini 的效果要强得多。即便如此，加入实证证据虽然让每种配置都更接近人类均值，但在任何单一配置内，这种改善都未达到统计显著。由于最强的提示本身就包含答案，作者把这一结果描述为可引导性，而不是自发的感知。
\n\n不能，这也是最具实践意义的发现。Tsai 和 Lai 用 SD 比率衡量离散度，即合成样本标准差除以人类样本标准差，1.0 表示完全一致。全部 12 种配置与干预组合都低于 1.0，所有零样本值都低于 .50。在实证证据条件下，GPT-5.4-mini 略有改善（纯文本 .335 → .400；JSON .354 → .493），而 GPT-4o-mini 反而变差（纯文本 .430 → .283；JSON .498 → .326）。调整温度参数（0.5、1.0、1.5）没有解决问题，改变画像的人口统计特征也没有。因此，合成样本组会低估真实消费者反应的差异程度。这与基于文本的数字孪生研究中发现的方差收缩现象一致。
\n\n作者把研究结果整理成一个三步治理流程：
\n对定性研究者和 UX 研究者来说，这条规则不仅适用于 logo。合成样本组可以帮助做早期的平均效应初筛，例如决定哪些概念值得拿给真实受访者测试。它无法告诉你不同细分群体之间有何差异，也无法解释某个群体为何会有那样的反应。这类证据仍然必须来自真实的人，例如针对目标人群开展一项AI 主持的访谈研究。
\n也要注意这项研究的局限。它只测试了同一供应商的两个低成本模型、静态图像和数值评分；基准是已发表的结果而非绝对真值；六个基准都早于模型的训练截止日期。该论文是预印本，尚未经过同行评审。
\n\n可以，但有前提。这项研究建议先用同一领域内已知的人类结果，对具体的模型和提示格式进行校准。输出结果只适合做平均效应初筛，不适合用于最终决策或市场细分。
\n并不必然。GPT-5.4-mini 复现的是与 GPT-4o-mini 不同的两项效应，而不是更多效应。不过，它对基于证据的提示反应要好得多。
\n在零样本条件下，格式没有造成统计差异。作者仍建议把数据结构视为需要验证的参数，因为当实证证据被标注得过于细碎时，旧模型的表现会变差。
\n论文在每一种配置中都发现了离散度过窄的问题。温度、画像和提示都无法解决它，这说明它是这类智能体本身的特性，而不是某个特定设置造成的。
\n\n最后更新：2026 年 10 月 14 日
\n本文是 Qualitati 研究团队对第三方研究的独立编辑摘要。Qualitati 与论文作者无关联。完整方法与结果请参阅原始论文。
\n","related":[{"slug":"interview-informed-llm-survey-responses-2026","title":"LLM 能用访谈记录预测问卷答案吗？2026 年一项研究的检验","description":"基于访谈的 LLM 能预测问卷答案吗？2026 年一项研究用 19 名真实受访者检验了 GPT、Claude 和 Gemini：哪些结论站得住，哪些失效了。","category":"AI 用户研究","date":"2026-10-12","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"expertise-adaptive-ai-interviewer-local-llm-2026","title":"AI 访谈员能按受访者专业水平调整提问吗？2026 年研究发现","description":"AI 访谈员能否根据每位受访者的专业水平调整提问？2026 年一项基于本地 LLM、涵盖 246 场访谈的研究发现，水平判断一致率为 78.9%，kappa 为 0.80。","category":"AI 用户研究","date":"2026-10-09","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"synthetic-data-accuracy-digital-twins-forgotten-question-2026","title":"合成数据准确率：数字孪生的准确率说法为何相互矛盾（2026）","description":"数字孪生准确率为何从 95% 到接近随机不等？一项 2026 年合成数据研究厘清了各类指标，并检验了一种提前识别可回答问卷题目的筛选方法。","category":"AI 用户研究","date":"2026-10-08","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}