arXiv cs.CY· Chaoran Li, Yukun Li, Zeyuan Zhao, Shao Zhang, Xihuai Wang, Ying Wen·· 10 小时前AI 评分42
ABHBench:从智能体视角评估基础模型的道德决策
ABHBench: Evaluating Moral Decision-Making of Foundation Models from an Agentic Perspective
AI 导读
研究者提出 ABHBench,一个基于《底特律:变人》构建的多模态基准,让基础模型以第一人称智能体身份在分支叙事中做道德决策,并测量无害性、服从性、自保、自主性、稳定性与确定性。在 12 个基础模型上测试发现,75% 的模型在纯文本抽象与匹配的多模态 DBH 场景之间出现显著行为变化,推理增强模型在一致性和人类导向行为上并未呈现单调提升。该基准已被 NeurIPS 2026 评测与数据集赛道接收。
正文 · AI 翻译
摘要:基础模型正越来越多地作为智能体系统部署,能够感知上下文并自主行动,这带来了将其作为主动决策者来评估其道德行为的需要。然而,现有基准大多要求模型从第三人称文本小故事中评判人类行为,模型自身成为行动主体时的行为方式仍未得到检验。我们提出 ABHBench,这是一个基于交互式叙事游戏《底特律:变人》构建的多模态基准,用于评估基础模型在第一人称人类与仿生人困境中如何做出道德决策。ABHBench 将基础模型置于具有视觉观察、对话、记忆和行动选择的分支叙事场景中。受阿西莫夫机器人三定律启发,我们的框架测量无害性、服从性和自我保护,以捕捉人机关系中的核心张力,同时测量自主性、稳定性和确定性以评估决策模式。在 12 个基础模型中,我们发现道德行为在情境化智能体语境下会发生显著变化:75% 的模型在纯文本抽象与匹配的多模态 DBH 场景之间出现显著转变,而推理增强模型在一致性或以人为中心的行为上并未表现出单调增益。这些结果凸显了在情境化智能体语境中评估道德行为的必要性,而不能仅依赖第三人称判断。
| 评论: | 被 NeurIPS 2026 评估与数据集方向接收。Camera Ready 版本 |
| 主题: | 人工智能(cs.AI);计算与语言(cs.CL);计算机与社会(cs.CY) |
| 引用为: | arXiv:2611.09326 [cs.AI] |
| (或 arXiv:2611.09326v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.09326 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Chaoran Li [查看邮箱]
[v1]
2026年11月6日星期五 11:17:58 UTC(1,592 KB)
来源:arXiv cs.CY · arxiv.org