arXiv cs.CL· Nils Schwager, Christoph Hau, Simon M\"unker, Achim Rettinger·· 11 小时前AI 评分31
The Unsampled Truth：量化语言模型心理测量中的提示词伪影
The Unsampled Truth: Quantifying Prompt Artifacts in LM Psychometrics
AI 导读
研究提出一种诊断设计，交叉五种语义不同的基线人格与四类提示词组件（人格措辞、任务指令、题目措辞、选项符号）的各五种语义等价变体，通过 1-Wasserstein 距离分离目标效应与提示词伪影。
正文 · AI 翻译
摘要：在用语言模型进行心理测量评估时，研究者假设其回答反映了所注入的人格设定以及调查题项的含义。我们采用一种诊断性设计来检验这一前提，该设计将五种语义上不同的基线人格设定，与四个提示词组成部分（人格描述措辞、任务指令、题项措辞、选项符号）各自的五种语义等价变体进行交叉组合。通过测量所得回答分布之间的 1-Wasserstein 距离，并将变异在五个组成部分之间进行分解，可以将目标效应与提示词伪影分离开来。我们将该框架应用于 13 个开放权重的小型语言模型（0.6B 至 14B），在 Big Five Inventory 和 Short Dark Triad 上进行测试。我们发现，在大多数模型中，任务指令和选项符号对回答分布的偏移程度，大于对人格描述或题项本身进行改写。对于相当一部分题项，伪影在已解释变异中所占的份额超过 50%；提示词的非语义变化所导致的回答变异，超过了基线人格设定。我们的框架使研究者能够在解读心理测量输出之前，对这些提示词伪影进行量化。
| 评论： | 12 页，5 幅图，3 张表。已被 EMNLP 2026（匈牙利布达佩斯）的 Findings 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.03357 [cs.CL] |
| （或使用 arXiv:2606.03357v3 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.03357 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Findings of the Association for Computational Linguistics: EMNLP 2026 |
| 相关 DOI： | https://doi.org/10.18653/2026.findings-emnlp.1009
链接到相关资源的 DOI |
提交历史
来自：Nils Schwager [查看邮箱]
[v1]
2026 年 6 月 2 日星期二 09:05:25 UTC（184 KB）
[v2]
2026 年 8 月 31 日星期一 13:56:58 UTC（166 KB）
[v3]
2026 年 11 月 5 日星期四 09:54:09 UTC（166 KB）
来源：arXiv cs.CL · arxiv.org