arXiv cs.AI· Chong Zeng, Ziqian Zhong, Kexun Zhang, Ivan Bercovich, Ivgeni Segal, Yuzhen Mao, Shashwat Saxena, Aditi Raghunathan·· 3 天前AI 评分39
面向智能体环境的可扩展弱到强验证器加固方法
Scalable Weak-to-Strong Verifier Hardening for Agent Environments
AI 导读
研究者提出一种可扩展的全自动弱到强验证器加固方法，先建立智能体无法直接修改的隔离验证器沙箱，再用 hacker-fixer 循环发现并修复验证器漏洞。该方法应用于 Terminal Bench、KernelBench 和 SETA，大幅降低攻击成功率，且随循环迭代次数增加防御持续增强，优于静态非迭代基线。其早期版本已被 Terminal Bench 官方仓库采用，用于审计环境中的漏洞利用。
正文 · AI 翻译
摘要：智能体环境对于大语言模型（LLM）的开发至关重要。它们使用程序化验证器将复杂的结果转化为奖励。验证器可能被攻击，从而在智能体未完成预期任务的情况下给予作弊智能体满分，导致评估不准确以及训练中的目标偏离。随着智能体环境在数量和难度上的扩展，对可利用验证器的修复也必须同步扩展。为此，我们提出疑问：当今具备规模化算力的模型能否自动加固智能体环境，以防止未来可能更强大的模型进行奖励黑客攻击。我们提出了一种可扩展、全自动的弱到强验证器加固方法。它首先建立一个智能体无法直接修改的隔离验证器沙箱，然后使用黑客-修复循环来发现并修复剩余的验证器漏洞。
我们将该循环应用于 Terminal Bench、KernelBench 和 SETA，大幅降低了这些智能体环境中的攻击成功率。这种迭代设计可随加固预算扩展，随着循环迭代次数的增加产生逐步更强的防御，并优于静态、非迭代的基线。我们黑客-修复循环的早期版本已被官方 Terminal Bench 仓库采用，用于审计其环境中的漏洞利用。项目页面：此 https URL。
| 评论： | 项目页面：此 https URL |
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI）；机器学习（cs.LG）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.15924 [cs.CR] |
| （或 arXiv:2610.15924v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15924 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chong Zeng [查看电子邮件]
[v1]
2026年10月11日星期日 21:10:19 UTC（175 KB）
来源：arXiv cs.AI · arxiv.org