arXiv cs.AI· Hanjun Luo, Xiucheng Zhang, Zhuoning Xu, Zhimu Huang, Yingbin Jin, Xinfeng Li, Hanan Salam·· 10 天前AI 评分38
ParanoiaEval：首个评测编程智能体不必要防御行为的基准
ParanoiaEval: Benchmarking Unnecessary Defensive Work in Agentic Coding
AI 导读
研究者推出 ParanoiaEval，首个基于 Avoidance-Transfer-Mitigation-Acceptance 框架统一评测编程智能体风险处理能力的基准，含 200 个仅风险处理证据不同的仓库级任务对。在 8 个代表性模型上的实验显示，即便证据明确，11.2%-58.7% 的运行仍出现不必要的风险处理，且更强任务能力并不保证更恰当的风险处理。
正文 · AI 翻译
摘要：随着编码智能体日益自主地承担现实世界的工作，判断其风险处理是否合理已变得十分重要。现有工作从各自不同的视角评估相关的智能体行为，但缺乏一个系统性的框架来统一这些行为。为弥合这一差距，我们提出了 ParanoiaEval，这是首个用于统一评估编码智能体风险处理能力的基准。ParanoiaEval 以软件工程风险管理中成熟的 Avoidance-Transfer-Mitigation-Acceptance 框架为基础，将该框架的 4 种基本处理方式落实到编码智能体场景中，并包含 200 个证据受控的仓库级任务对，每一对仅在决定处理方式的证据上有所不同。我们进一步引入了针对风险处理违规和证据响应性的专用指标，并使用经人工校准的智能体评判器进行可靠评估。在 8 个代表性模型上的大规模实验以及一项事后人类研究揭示：(I) 尽管存在明确证据，仍有 11.2%-58.7% 的运行出现不必要的风险处理，且不同智能体配置之间存在显著差异；(II) 更强的任务能力并不能确保更恰当的风险处理，而风险处理违规会严重损害开发者体验，从而确立风险处理为一个独立的能力维度；(III) 智能体表现出与既有风险管理研究发现相一致的系统性模式，表明来自人类实践的知识可以指导这一能力的诊断与改进。
| 主题： | 人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.08662 [cs.AI] |
| （或使用 arXiv:2610.08662v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.08662 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Hanjun Luo [查看邮箱]
[v1]
2026年10月6日星期二 16:46:14 UTC（925 KB）
来源：arXiv cs.AI · arxiv.org