arXiv cs.CL· Juan Manuel Contreras·· 10 天前AI 评分27
LLM 原生心理测量工具揭示 25 个模型的自评与行为差距
An LLM-Native Psychometric Instrument Reveals a Self-Report--Behavior Gap Across 25 Models
AI 导读
一项基于 LLM 特有行为（如过度拒答、主动免责声明）自下而上构建的自评工具，对 17 家开发商的 25 个 LLM 施测 300 道题各 30 次，得到 5 个可复现且信度较高的因子（Tucker φ ≥ .957，α ≥ .930）。
正文 · AI 翻译
摘要：大型语言模型（LLM）对自我报告问卷的回答能否预测其行为？先前研究发现不能，但那些研究使用的是人类人格量表，因此这一差距可能反映的是借来的人类构念，而非 LLM 自我报告本身。我们用一个由 LLM 特有行为（例如过度拒绝、未经请求的免责声明）构建的自我报告工具对此进行检验，其结构是自下而上推导出来的。将 300 个条目对来自 17 家开发者的 25 个 LLM 各施测 30 次，得到五个可复现、可靠的因素（Tucker $\phi \geq .957$，$\alpha \geq .930$）。我们将这些自我报告与 2,500 个开放式行为样本进行比较，后者由 151 名人类和一组 LLM 评判者评分。人类与评判者对模型行为看法一致（$\bar{r} = .51$），但自我报告几乎无法追踪人类评分（$\bar{r} = .09$，95% CI $[-.07, .18]$）或无评分者的文本测量，并且在校正效标不可靠性后，五个因素中有四个接近零。冗长性是部分例外（$r = .40$，达到其信度上限的 71%）。在 Responsiveness 上，自我报告对 LLM 评判者的追踪多于对人类（$r = .53$ 对 $.18$；Steiger $p = .04$），且控制长度和格式后这一结果并未消失：LLM 评判者与 LLM 自我报告之间的一致性只是弱证据，表明二者中任一者追踪了人类判断。
| 主题： | 人机交互（cs.HC）；人工智能（cs.AI）；计算与语言（cs.CL） |
| ACM 分类： | I.2.7; J.4 |
| 引用为： | arXiv:2606.09843 [cs.HC] |
| （或本版本使用 arXiv:2606.09843v4 [cs.HC]） | |
| https://doi.org/10.48550/arXiv.2606.09843 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Juan Manuel Contreras 博士 [查看电子邮件]
[v1]
2026年4月24日星期五 04:42:09 UTC（577 KB）
[v2]
2026年6月25日星期四 15:23:14 UTC（571 KB）
[v3]
2026年7月7日星期二 00:32:51 UTC（579 KB）
[v4]
2026年10月7日星期三 02:52:07 UTC（598 KB）
来源：arXiv cs.CL · arxiv.org