arXiv cs.AI· Jikwang Lee, Seungwook Jung, Jaechang Nam·· 11 小时前AI 评分29
DARE：面向修复增强的任务难度分析框架
DARE: Difficulty Analysis for Repair Enhancement
AI 导读
DARE 将修复任务难度定义为多个编码智能体在任务上的实际失败率，并用从基准产物中提取的 151 个静态特征预测该难度。在包含 2,594 个任务的四个基准分区上，其难度预测在留出集上达到 Spearman's ρ = .476-.621，且各任务最关键的 Repair-Task Feature Group 存在差异。编码智能体实验显示，按任务显著特征组匹配支持可提升修复成功率。
正文 · AI 翻译
摘要：基于 LLM 的编程智能体主要通过其解决率来评估。然而，这一指标既不能揭示所解决任务的难度，也没有考虑不同基准之间任务难度的差异。通过反复运行多个智能体来确定单个任务的难度成本高昂，而仅凭预测的难度分数对智能体需要何种支持所提供的指导也很有限。为应对这些挑战，我们提出了 DARE（Difficulty Analysis for Repair Enhancement，修复增强的难度分析），它集成了修复任务难度测量、预测、特征组贡献分析以及针对具体任务的修复支持。我们将连续任务难度定义为多个编程智能体上观察到的失败率。DARE 难度模型使用从基准工件中提取的 151 个静态特征来预测这一难度。该框架还分析七个修复任务特征组的贡献，以识别每个任务最显著的特征，并利用这一信息来选择针对具体任务的智能体支持。我们在包含 2,594 个任务的四个基准分区上评估了 DARE。难度模型的对齐预测在留出分区上达到 Spearman's $\rho$ = .476-.621，且最显著的特征组因任务和基准而异。此外，编程智能体实验表明，当支持与每个任务最显著的特征组相匹配时，修复成功率有所提高。这些发现表明，难度预测与解释可以带来自动化程序修复（APR）的实际改进，同时也为难度分层智能体评估、跨基准比较以及识别需要进一步改进的修复能力领域提供了基础。
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.05797 [cs.SE] |
| （或 arXiv:2611.05797v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05797 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jaechang Nam [查看电子邮件]
[v1]
2026年11月4日星期三 01:10:04 UTC（799 KB）
来源：arXiv cs.AI · arxiv.org