arXiv cs.AI· Rohit Agarwal, Joshua Lin, Mark Braverman, Elad Hazan·· 1 天前AI 评分31
通过激励与纠错实现 AI 对齐：基于法律经济学威慑模型的双层奖励优化
AI Alignment via Incentives and Correction
AI 导读
研究将法律经济学的威慑与执法模型引入 AI 对齐，把智能体流水线中的不当行为视为对激励的策略性反应，并将对齐形式化为求解者与审计者之间的固定点问题。作者提出双层优化框架，用基于 bandit 的外循环搜索奖励配置，在 LLM 编码流水线实验中，自适应奖励相比静态手工设计奖励维持了有效监督压力，并显著减少幻觉性错误尝试。
正文 · AI 翻译
摘要：我们从法律与经济学中的威慑与执法模型视角研究 AI 对齐。在这些模型中，不当行为不被视为外部失效，而是对激励的策略性反应：行为者会权衡违规收益与被发现概率及惩罚严厉程度。我们认为，同样的逻辑自然出现在智能体 AI 流水线中。求解器可能从生成有说服力但错误的答案、隐藏不确定性或利用虚假捷径中获益，而审计器或验证器必须决定是否值得进行高成本监控。因此，对齐是一个不动点问题：更强的惩罚可能威慑求解器的不当行为，但也可能降低审计器的检查激励，因为此时审计主要是在一个看起来越来越对齐的群体上产生成本。
这一视角也改变了对训练后信号的定义。标准反馈通常只将奖励附加到最终答案上，但求解器-审计器流水线暴露了完整的纠正事件：求解器是否出错、审计器是否检查、错误是否被捕获，以及监督激励是否保持活跃。我们在一个双智能体模型中形式化这种交互，其中委托人在联合纠正结果上选择奖励，从而同时诱导求解器行为和审计器监控。因此，奖励设计是一个双层优化问题：奖励不是根据其即时语义含义来评判，而是根据其诱导的行为均衡来评判。我们提出一种基于 bandit 的外层循环程序，利用带噪声的交互反馈搜索奖励配置。在 LLM 编码流水线上的实验表明，与静态手工设计的奖励相比，自适应奖励配置能够维持有用的监督压力并改善与委托人一致的结果，包括大幅减少幻觉性错误尝试。
| 评论： | 48 页。v4：增加可扩展监督筛选协议、弃权抑制与更小审计器消融实验、扩展相关工作 |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI) |
| 引用为： | arXiv:2605.01643 [cs.LG] |
| （或 arXiv:2605.01643v4 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.01643 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Rohit Agarwal [查看电子邮件]
[v1]
2026 年 5 月 2 日星期六 23:28:02 UTC（1,211 KB）
[v2]
2026 年 5 月 6 日星期三 02:25:12 UTC（1,277 KB）
[v3]
2026 年 5 月 11 日星期一 16:34:28 UTC（1,277 KB）
[v4]
2026 年 11 月 12 日星期四 17:58:52 UTC（1,292 KB）
来源：arXiv cs.AI · arxiv.org