arXiv cs.AI· Chih-Hao Hsu, Feng-Chun B. Chou, Pin-Hao A. Chen·· 10 小时前AI 评分31
大语言模型中的心理测量学推理溯源：Llama 3 与 Qwen 2.5 跨人格实验
Tracing Psychometric Inference in Large Language Models
AI 导读
研究用跨人格范式测试 Llama 3 和 Qwen 2.5 两个家族共 14 个模型变体（0.5B-14B，base 与 instruct），让模型基于 272 名台湾大学生的单一人格量表作答预测其余六个量表。
正文 · AI 翻译
摘要：大型语言模型是在内部表征心理学构念，还是仅生成看似具有心理测量结构的结果？我们采用跨人格范式，针对来自两个模型家族（Llama 3 与 Qwen 2.5，0.5B-14B，基础版与指令版）的 14 个模型变体来探讨这一问题。给定真实个体（N = 272 名台湾大学生）在一个心理量表上的作答，模型预测其在另外六个量表上的作答。在行为层面，较大的变体复现并放大了人类的跨量表相关性；在针对测量衰减对七量表人类相关性进行校正后，放大效应依然存在。随后我们检验这一结构是否在内部有所反映。对比方向分析发现，较大的指令版变体中几何结构与人类矩阵对齐，但在该检测方法下基础版变体几乎无对齐。跨模型来看，几何强度与行为放大相关（r = 0.68，p = 0.008；控制对数规模后的偏相关 r = 0.69）。为将内部结构与输出行为联系起来，一项匹配的激活探测范式显示，探测斜率的变化小于行为斜率（1.38-1.77 对 0.52-1.53）。一项合成对照表明，岭回归探测可能夸大这些斜率；在减去基于另一分析中可靠性代理的基线后，校正后的斜率仍与行为相关（r = 0.88）。我们将测得的探测-行为差距称为读出衰减。这些结果在所用检测方法下确立了可解码性与几何对齐，但并未表明所测得的方向介导了跨人格的作答。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.12937 [cs.AI] |
| （或 arXiv:2611.12937v1 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.12937 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chih-Hao Hsu [查看邮箱]
[v1]
2026 年 11 月 6 日星期五 14:29:19 UTC（7,707 KB）
来源：arXiv cs.AI · arxiv.org