arXiv cs.AI· Hendrik Luuk·· 10 小时前AI 评分31
研究提出 AI 治理应优先控制与知识边界，而非限制智能
AI Governance Should Prioritize Control and Knowledge Boundaries Over Limiting Intelligence
AI 导读
一篇 NeurIPS 2026 立场论文提出“能力回路”框架（IKC + KC + C），将智能体的现实影响拆解为智能驱动的发现、程序性知识与直接控制三条路径。
正文 · AI 翻译
摘要：自主行动 AI 智能体的迅速激增使得智能体系统的治理变得紧迫。我们提出能力回路（competence circuit），概括为 IKC + KC + C，将智能体的现实世界影响分解为三条路径：智能介导的发现、程序性知识以及直接控制。以经典的快速起飞辩论作为压力测试，我们将智能介导的快速起飞条件形式化为共同足以导致快速灾难性霸权的合取条件，并表明其中大多数依赖于快速知识获取或控制获取，而非仅依赖智能。我们将认知智能操作化为假设选择效率，并通过在 NK 适应度景观上对跨越合取链的六个场景进行随机模拟来验证该框架。由模拟支持的一个解析界表明，无论任务难度如何，智能驱动的加速受竞争智能水平之比的限制。模拟还揭示了一个快速起飞困境：只有当假设空间存在噪声时，才会出现大的智能驱动加速乘数，但绝对时间尺度仍受能力关键测试所需时间的约束，因此大的乘数并不必然意味着快速进展。模拟还表明，当强制性授权延迟相对于这些超级智能体在非生产性搜索上花费的微不足道的时间而言很大时，制度瓶颈会不成比例地减缓超级智能体。我们认为，主要的安全杠杆是限制控制和强制执行知识边界，而非仅限制智能，这适用于任何能力水平的智能体系统。纯数字领域削弱了这些瓶颈，从而加强了有意“将物理引入回路”的架构的理由。
| 评论： | 已被第40届神经信息处理系统大会（NeurIPS 2026）立场论文Track接收 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.12941 [cs.AI] |
| （或 arXiv:2611.12941v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.12941 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Hendrik Luuk [查看电子邮件]
[v1]
2026年11月6日星期五 17:00:13 UTC（304 KB）
来源：arXiv cs.AI · arxiv.org