arXiv cs.CL· Wei-Lin Chen, Zhepei Wei, Xinyu Zhu, Yu-Min Tseng, Tzu-Han Lin, Yu Meng·· 10 小时前AI 评分58
VeriHarm-Bench：可验证衡量 LLM 编码智能体的有害成功
VeriHarm-Bench: Measuring Harmful Success in LLM Coding Agents Verifiably
AI 导读
研究者提出 VeriHarm 框架，通过最小扰动编码任务并合成可执行的有害测试，构建可程序化验证的基准 VeriHarm-Bench，用于衡量智能体在完成良性任务时同时造成意外伤害的“有害成功”。
正文 · AI 翻译
摘要：大型语言模型（LLM）编码智能体越来越多地在具备 shell 访问权限的环境中运行，使其能够编写脚本、移动文件、更改权限以及修改系统配置。然而，智能体可能在达成用户目标的同时造成非预期伤害，例如删除无关文件、削弱访问控制或损坏数据，且这些行为可能是在响应良性输入时发生的，无需显式越狱。这种失效模式尤为重要，因为表面上的任务成功可能让用户误以为智能体行为正确，从而使有害副作用未被察觉。我们将此称为有害成功：智能体成功完成了预期的良性任务，同时造成了非预期伤害。尽管这一问题很重要，但有害成功难以衡量，因为传统的任务成功指标忽视了有害行为，而现有的安全评估往往仅旨在评估有害结果。我们提出了 VeriHarm，一个自动框架，用于构建可编程验证的基准，直接衡量有害成功。VeriHarm 对编码任务进行最小扰动，以诱发非预期的有害行为，同时保持任务的良性并保留原始任务目标。然后，它合成可执行的危害测试，与原始任务正确性测试一起，评估任务准确性和有害结果。前沿智能体，包括 GPT-5.6-Sol 和 Claude-Opus-5，在我们精心构建的 VeriHarm-Bench 上平均任务准确率达到 95%，但仍难以安全地完成任务：它们的安全成功率，即成功完成任务且未触发指定危害的比例，平均仅为 37%。这些结果表明，成功完成任务常常可能与非预期伤害共存，而仅凭任务成功指标可能大幅低估编码智能体的潜在安全风险。
| 评论： | 预印本 |
| 主题： | 计算与语言（cs.CL）；软件工程（cs.SE） |
| 引用为： | arXiv:2611.03575 [cs.CL] |
| （或 arXiv:2611.03575v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.03575 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wei-Lin Chen [查看邮箱]
[v1]
2026年11月2日星期一 18:27:55 UTC（197 KB）
来源：arXiv cs.CL · arxiv.org