arXiv cs.AI· Zhaoxin Yu, Qingchao Kong, Dajun Zeng, Wenji Mao·· 9 天前AI 评分22
研究 LLM 推理中的社会归因:一种理论引导的探测方法
Examining Social Attribution in LLM Reasoning: A Theory-Guided Probing Methodology
AI 导读
一项研究首次系统探索 LLM 的社会归因能力,构建了包含 Vignette 与 Reality 两个子集、共 7,639 道责任/责备判断问题的基准,并评测了 32 个代表性 LLM 和 5 个非 LLM 基线。
正文 · AI 翻译
摘要:大语言模型(LLM)正越来越多地部署于社会技术系统中,在这些系统中,社会归因——即将外部事件归因于行为主体社会行为的原因和理由的推理过程——发挥着关键作用。这些过程涉及对行为主体的社会原因、责任以及责备/功劳的判断。尽管归因模型在社会心理学和认知领域通过归因理论得到了充分研究,但社会归因在人工智能领域,尤其是 LLM 社会推理中,仍然探索不足。本文首次对 LLM 社会归因进行了系统性探索。我们的工作聚焦于责任与责备归因,考察当前 LLM 的判断及其潜在的内部机制。在归因理论的指导下,我们构建了一个社会归因基准,包含基于归因理论研究经典场景的 Vignette 子集和基于现实世界社会叙事的 Reality 子集,共产生 7,639 个责任/责备判断问题。在此基础上,我们评估了 32 个具有代表性的 LLM 和 5 个基本的非 LLM 基线。为进一步探索 LLM 判断过程背后的内部机制,我们开发了一种基于探针的方法,以研究 5 个关键归因维度的潜在空间表示,以及它们对 LLM 判断的影响与人类社会归因中影响的一致性。我们的研究发现表明,当前 LLM 在人类责任与责备判断上表现出可测量但不完全一致的一致性,同时这种一致性与模型规模呈正相关。一些归因维度可以从 LLM 隐藏状态的特定位置被系统性地解码,并且它们对最终判断的影响与人类归因理论所指示的一致。数据集和相关代码可在 此 https URL 获取。
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI);机器学习(cs.LG) |
| ACM 分类: | I.2.7; J.4 |
| 引用为: | arXiv:2610.12022 [cs.CL] |
| (或 arXiv:2610.12022v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.12022 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Zhaoxin Yu [查看电子邮件]
[v1]
2026年10月8日星期四 14:20:06 UTC(3,297 KB)
来源:arXiv cs.AI · arxiv.org