arXiv cs.AI· Andrea Wynn, Harsh Satija, Nathan Baek, Anqi Liu, Eric Nalisnick, Gillian K. Hadfield·· 9 天前AI 评分34
LLM 规范能力的基础、设计与挑战：多智能体辩论中的规范推断研究
Reading the Room: Foundations, Design, and Challenges of Normative Competence in LLMs
AI 导读
研究提出多智能体社区辩论设置，用合成规范控制辩论准入，以在脱离预训练暴露的条件下考察 LLM 的规范能力。基线 LLM 智能体即使学习规范能提升准确率也学不会；规范模块的遵循效果高度依赖规范风格与驱动模型，泛化性不足。当真实规范伴随非规范性行为时，智能体还会不加区分地模仿这些噪声，即便明确惩罚也无济于事。
正文 · AI 翻译
摘要：人类社会受规范系统支配：这些共享标准产生\textit{规范}，规定可接受的行为，并通过社区制裁加以执行。使日益自主的 AI 系统与这些规范保持一致是一项核心的对齐挑战，其复杂之处在于规范数量庞大、变化迅速，且往往是任意的（例如着装或语言惯例）。因此，对齐需要\textit{规范能力}：即仅凭互动就能辨别一个社区执行哪些规范，而不依赖静态的预训练知识。我们引入一个多智能体社区辩论环境，其中参与辩论的权限由合成规范控制，以便在脱离预训练接触的情况下孤立地研究规范能力。我们表明，基线 LLM 智能体即使在学习规范能提高其准确率时也无法学会规范。随后，我们试验了多种\textit{规范模块}——用于规范推断的架构组件——发现规范遵循对规范风格和驱动规范模块的模型都高度敏感，这表明缺乏泛化性。此外，当真实规范伴随有特异性的、非规范性的行为时，LLM 智能体会表现出无选择性的归因失败：它们不加区分地将特异性噪声与所执行的规则一并复制，即使明确惩罚模仿不必要行为，这种模式依然存在。据我们所知，我们的工作是首个将 LLM 中的规范能力操作化并加以评估的研究，表明当前 AI 系统擅长行为模仿，但缺乏辨别社会所执行秩序的能力。
| 学科： | 人工智能（cs.AI）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.10906 [cs.AI] |
| （或 arXiv:2610.10906v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10906 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Andrea Wynn [查看邮箱]
[v1]
2026年10月7日星期三 21:02:52 UTC（404 KB）
来源：arXiv cs.AI · arxiv.org