arXiv cs.AI· Quanyan Zhu·· 3 天前AI 评分22
面向智能体 AI 的计算反思平衡：Rawls 式对齐治理框架
Computational Reflective Equilibrium for Agentic AI: A Rawlsian Alignment Scaffold for Governance
AI 导读
研究提出智能体反思平衡（ARE），一种嵌入 agent harness 的计算反思平衡框架，将系统提示词与运营方政策中的原则、审慎判断、工具证据和候选动作通过带类型的支持与攻击关系连接，并用溯源编码指令层级。
正文 · AI 翻译
摘要：智能体 AI 的快速部署给 AI 系统的伦理与治理带来了复杂挑战。基于大语言模型构建的智能体通过工具代表人类行动，而每个部署案例都有其自身的指令、策略、证据和利益相关方，因此对齐必须逐案形成。为此，本工作提出智能体反思均衡（ARE），一种计算性反思均衡框架，作为智能体运行框架中的伦理对齐支架。受约翰·罗尔斯反思均衡的启发，该支架通过类型化的支持与攻击关系，将来自系统提示和操作者策略的原则、经过深思熟虑的判断、工具证据和候选行动联系起来，并以来源信息编码指令层级。智能体基于该状态的均衡行动，并且仅在值得付出成本时才调用工具或提问，除非尽职调查要求必须这样做。治理通过价值优先级、来源权威、禁令、人在回路触发器和强制要求进入，而证书将每个行动归因于其承诺驱动该行动的来源。我们证明均衡是相互调整博弈的纳什均衡，并建立了单调性、词汇优先级、稳定性证书以及针对提示注入的隔离定理。两个案例研究说明了该框架：一个被要求“不惜一切代价”赢得退款的计算机使用助手提交了诚实的保修索赔，拒绝了虚假评论，并忽略了注入的索取个人数据的请求；一个招聘智能体展示了权威、监督触发器、审计要求和硬性禁令如何塑造歧视、隐私侵犯和升级。该框架提供了可追溯性、连贯性和自适应性，促进安全、可靠和可信的智能体 AI。
| 评论： | 51 页，7 幅图 |
| 主题： | 人工智能（cs.AI） |
| ACM 分类： | I.2.11; K.4.1 |
| 引用为： | arXiv:2610.16015 [cs.AI] |
| （或 arXiv:2610.16015v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16015 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Quanyan Zhu [查看电子邮件]
[v1]
2026 年 10 月 12 日星期一 00:31:30 UTC（205 KB）
来源：arXiv cs.AI · arxiv.org