ExLabel：用自进化智能体评估 SWE-bench 风格数据集的任务清晰度与测试覆盖

查看 PDF HTML（实验性）

摘要：大型语言模型（LLM）在软件工程（SE）任务上表现出强劲性能，这推动了对高质量数据集的需求，以支持可靠的训练与评估。SWE-bench 风格的数据集（SWE 数据集）被广泛用于评估基于 LLM 的编码智能体在真实软件问题上的表现，其中任务清晰度和测试覆盖度直接影响实例是否可解、可验证。然而，现有 SWE 数据集仍存在质量问题，而人工标注成本高昂且劳动密集，这促使人们采用基于 LLM 的标注。现有方法通常依赖静态、过于通用的评分标准，限制了其处理多样且细微场景的能力，并往往产生较高的假阳性率。相比之下，人类标注者会借助积累的经验做出情境感知的判断。受此启发，我们提出 ExLabel，一种基于 LLM、自我进化、经验引导的助手，用于 SWE 数据集中的任务清晰度和测试覆盖度评估。ExLabel 维护一个不断进化的经验库，将跨实例知识提炼为稳定而自适应的判断标准，并复用相关经验来指导新实例的评估。为了进行系统评估，我们通过清洗 SWE-bench 和 Multi-SWE-bench 中的人工标注，构建了涵盖八种编程语言的新基准 SWE-TQ。使用三个骨干 LLM 进行的实验表明，ExLabel 在所有设置下均取得最佳 F1，在 Python/多语言子集上的任务清晰度和测试覆盖度评估中，相较最佳基线分别实现 44.2%/49.9% 和 24.0%/18.4% 的相对提升。此外，一个在经 ExLabel 过滤的 SWE-rebench 数据上微调的编码模型在 SWE-bench Verified 上解决了 66.2% 的问题，比在经最佳基线过滤的数据上训练的模型高出 14.5%。

提交历史

来自：Zhonghao Jiang [查看邮箱]
[v1] 2026年10月29日 星期四 05:59:36 UTC（864 KB）