arXiv cs.CL· Haokai Zhao, Jie Gao, Yunze Xiao, Xintao Wang, Weihao Xuan, Aditya Joshi, Mark Dredze, Jen-tse Huang·· 12 小时前AI 评分38
研究提出 A-B-D 方法,从行为轨迹推断 LLM 智能体性格特质
On the Behavioral Traits of LLM Agents
AI 导读
研究者提出 A-B-D 方法,从 345,667 条真实轨迹中自下而上推断 LLM 智能体的行为特质,覆盖 80 个模型、12 项任务和 50 个 harness。经筛选的 79 个特征经因子分析得出 6 个稳定的模型可归因因子,其中 2 个功能性、4 个语言性。这些因子与模型自报的 Big Five 分数仅弱相关,如外向性与 energetic 的 r = 0.07,揭示出“知行差距”。
正文 · AI 翻译
摘要:用户越来越多地将不同的 AI 智能体描述为各不相同的同事。AI 人格研究旨在通过将类人的“特质”赋予智能体来量化此类印象。然而,现有测量方法存在不足:模型的自我报告(S 数据)与其实际行为存在偏差,而来自 LLM 评判者的信息提供者评分(I 数据)在规模化上成本高昂,且覆盖的日常场景很少。在本文中,我们提出 A-B-D,从行为数据(B 数据)自下而上推断特质,即智能体如何作用于其环境并与用户交流,这些记录在现有轨迹中。从涵盖 80 个模型、12 项任务和 50 个运行框架的 345,667 条真实世界轨迹中,我们提取了 318 个候选特征,这些特征既捕捉智能体在每一步采取的行动(功能性),也捕捉伴随这些行动的语言(语言性)。我们仅保留在实例层面具有稳定性、跨任务一致性和模型可区分性的特征。对剩余 79 个特征的因子分析揭示了六个稳定、可归因于模型的因子,其中两个功能性、四个语言性。例如,Claude-Sonnet-4.6 和 Kimi-K3 表现出最强的计划性,而 GPT-5.5 和 GPT-5.6 的活力最低。此外,我们量化了真实环境中的“知—行差距”:这些因子与自我报告的大五人格得分仅呈弱相关,即使是外向性与活力这类概念上匹配的配对也是如此(r = 0.07,p = 0.58)。我们的工作为理解 AI 人格提供了新视角,对用户、开发者以及计算机科学和社会科学领域的研究者都具有启示意义。
| 评论: | 预印本;工作进展中 |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2609.32776 [cs.CL] |
| (或 arXiv:2609.32776v2 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2609.32776 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Jen-Tse Huang [查看电子邮件]
[v1]
2026 年 9 月 26 日星期六 16:51:52 UTC(3,939 KB)
[v2]
2026 年 10 月 22 日星期四 14:01:08 UTC(4,173 KB)
来源:arXiv cs.CL · arxiv.org