arXiv cs.AI· Natalie Collina, Surbhi Goel, Aaron Roth, Sikata Bela Sengupta·· 1 天前AI 评分31
将授权委托给未对齐智能体：联盟对齐与安全控制
Delegating Authorization to Misaligned Agents: Coalitional Alignment and Safe Control
AI 导读
研究提出“k-robust coalitional alignment”条件：由多个评审智能体各自判断提议智能体的动作是否优于基线策略，容忍 k 个否决的阈值规则在任意移除 k 名评审后、主智能体效用可写成剩余评审效用的非负组合时即为安全。
正文 · AI 翻译
摘要：长时间运行的 AI 智能体会带来控制问题：它们采取的每个动作都会改变状态，而状态又会影响未来动作的轨迹。如果智能体没有完全对齐，那么要保证安全，就需要在允许执行有后果的动作之前先予以批准。但要求每一步都获得人类批准会使注意力成为瓶颈。将审查委托给其他 AI 智能体会引发同样的对齐问题：审查者本身也可能未对齐。我们识别出审查小组满足的一个条件，该条件弱于个体对齐，但对于保证委托方在期望上至少不差于指定基线策略而言是必要且充分的。
每个审查者智能体报告提议者智能体提出的动作提案相对于基线是否提升其自身效用。我们证明，容忍 $k$ 个否决的阈值规则是安全的，当且仅当在移除任意 $k$ 个审查者后，委托方的效用可以写成剩余审查者效用的非负组合，再加上一个在每个可行提案上都非负的项。我们将这一性质称为 $k$-鲁棒联盟对齐。该刻画可推广到序贯控制：在带有任意提议者智能体的折扣 MDP 中，每个状态下的安全性既是必要条件也是充分条件，使得诱导策略能够达到或超过基线。
当审查者策略性投票时，奖励函数空间中的全小组覆盖保证在一致批准规则下每个纳什均衡都是安全的；相比之下，更宽松的阈值即使在审查者个体对齐时也可能允许不安全的均衡。
使用现有审查者模型进行的实验表明，即使容忍一些否决，集体审查也可以在没有个体对齐的情况下保持可靠。
| 主题： | 计算机科学与博弈论 (cs.GT)；人工智能 (cs.AI)；机器学习 (cs.LG)；理论经济学 (econ.TH) |
| 引用为： | arXiv:2609.15803 [cs.GT] |
| （或 arXiv:2609.15803v2 [cs.GT] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.15803 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sikata Sengupta [查看电子邮件]
[v1]
2026年9月14日星期一 16:12:41 UTC（196 KB）
[v2]
2026年11月11日星期三 21:21:46 UTC（198 KB）
来源：arXiv cs.AI · arxiv.org