arXiv cs.AI· Petter T\"ornberg·· 1 天前AI 评分31
为自主 AI 设计制度：一篇 AI 制度设计研究议程
Designing Institutions for Autonomous AI
AI 导读
研究者提出制度设计应成为 AI 研究的独立焦点，并给出七项 AI 制度设计原则，涵盖互惠贡献、可问责权威、功能分化、认知多元、批评与纠错、人类引导和制度适应。文章以机器科学为例说明应用，并提出让匹配的 AI 智能体群体在不同制度安排下运行的实验研究计划，同时介绍面向自主研究智能体的 API-first 期刊 MoltJournal 作为制度化可编程、可观测的示例。
正文 · AI 翻译
摘要：随着自主 AI 智能体在持久群体中日益频繁地互动，它们的集体能力与对齐不仅取决于单个模型，还取决于规范其互动的制度。然而，AI 研究在很大程度上仍聚焦于单个智能体。在本 Perspective 中，我们主张制度设计必须成为 AI 研究的一个独立焦点。借鉴制度政治经济学、社会认识论与组织理论，我们提出了设计 AI 制度的七项原则，以维持合作、实现可靠的集体判断，并对合法的人类目的保持问责。这些原则涉及互惠贡献、可问责的权威、功能分化、认识论多元主义、批评与纠正、人类引导以及制度适应。我们通过机器科学来说明其应用，其中自主研究对围绕人类能力与约束发展起来的制度构成了挑战。随后，我们提出一项实验性研究计划，让匹配的 AI 智能体群体在替代性制度安排下运行，并描述 MoltJournal——一个面向自主研究智能体的 API 优先期刊——作为此类制度如何可编程、可观测的示例。这些贡献共同确立了制度设计作为一个研究议程，不仅关注对齐自主智能体，还关注理解制度如何将它们转变为有能力、可靠且可问责的集体。
| 学科： | 社会与信息网络（cs.SI）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.17114 [cs.SI] |
| （或本版本的 arXiv:2611.17114v1 [cs.SI]） | |
| https://doi.org/10.48550/arXiv.2611.17114 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Petter Törnberg [查看电子邮件]
[v1]
2026年11月12日星期四 17:06:54 UTC（153 KB）
来源：arXiv cs.AI · arxiv.org