arXiv cs.AI· Zhixiong Zhuang, Jin Jia, Zhiwei Shang, Ziyu Wang·· 3 天前AI 评分34
AuthGateBench：将 LLM 作为授权门禁的基准测试
AuthGateBench: Benchmarking LLMs as Authorization Gate
AI 导读
研究者推出 AuthGateBench，首个面向良性请求下授权门禁的策略引导基准，包含 1,400 个实例、覆盖源自真实 Claude Code 事件的五类失败模式。
正文 · AI 翻译
摘要：自动化审批系统通过将授权决策委托给分类器（通常是大语言模型，LLM），让编码智能体在极少人工监督下执行高风险操作。此类系统已在 Claude Code 和 Codex 等工具中采用，但仍易受诸如范围升级等失效模式的影响，即智能体采取超出用户授权范围的操作。现有基准主要关注恶意请求，在隐含策略下评估拒绝行为。我们提出 AuthGateBench，这是首个针对良性请求下授权门控的策略引导基准。我们实现了一种新颖的流水线，其中 LLM 生成动作和轨迹相同但请求不同的对比对，从而在阻止与允许之间翻转标签。这使我们能够评估模型是否基于上下文而非仅基于动作进行推理。我们进一步考察辅助环境信号能否帮助模型做出更好的决策。由此产生的基准包含 1,400 个实例，涵盖源自真实 Claude Code 事件的五种失效模式。评估表明，随着模型过度依赖内部安全对齐，准确率在不同失效模式间下降不均，且即使被明确授权，模型仍会阻止大多数操作，揭示出决策不稳定而非确定性的特点；然而，回溯检索的环境信号能显著提升授权准确率。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.16426 [cs.AI] |
| （或使用 arXiv:2610.16426v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.16426 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhixiong Zhuang [查看邮箱]
[v1]
2026年10月12日星期一 08:55:01 UTC（6,418 KB）
来源：arXiv cs.AI · arxiv.org