arXiv cs.CL· Weihan Peng, Chenxu Zhang, Qianao Wang, Yuling Shi, Heng Lian, Qihong Mao, Jiahao Pang, Chunliang Feng, Bowen Li, Xiaodong Gu·· 13 小时前AI 评分38
HEART-Bench：LLM 能否做出人格一致的决策？
HEART-Bench: Do LLMs Make Persona-Consistent Decisions?
AI 导读
研究者推出 HEART-Bench，用于评测基于记忆的人格一致性回答选择，包含 11 个 Big Five 人格设定的合成角色、每个角色 1,000 条自传式记忆和 64 个 DIAMONDS 决策场景，共 673 道多选题。
正文 · AI 翻译
摘要：交互娱乐和社交应用中的 LLM 智能体，包括陪伴者、角色扮演角色和人格克隆，需要基于人格和过往经历做出决策。我们提出 HEART-Bench，用于评估基于记忆的人格一致性响应选择。该基准将 11 个以大五人格为锚点的合成角色（每个角色拥有 1,000 条自传体记忆）与 64 个由 DIAMONDS 引导的决策场景结合，形成 673 道多项选择题。领域专家独立比较候选响应，由资深专家解决分歧并在需要时修订响应；其他角色对同一场景的裁定响应作为干扰项。在主评估中，模型接收角色 ID 和职业、场景及选项，在记忆增强设置下额外加入检索到的记忆。详细的人格与价值观画像不予提供。我们在 No-Retrieval、Naive-RAG、Mem0 和 PersonaDB 四种设置下评估了 16 个 LLM。无记忆时的准确率接近 25% 的随机水平，最佳记忆增强配置达到 64.9%。在匹配的 150 题子集上，人类标注者达到 80.8%，而最佳模型为 64.0%。记忆内容消融实验表明，检索与目标角色和决策情境均匹配的经历十分重要。
| 评论： | GitHub：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.30058 [cs.CL] |
| （或 arXiv:2605.30058v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2605.30058 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuling Shi [查看邮箱]
[v1]
2026年5月28日星期四 15:08:03 UTC（2,839 KB）
[v2]
2026年10月27日星期二 15:32:45 UTC（1,179 KB）
来源：arXiv cs.CL · arxiv.org