arXiv cs.CL· Aziz Ben Amor, Drish Mali, Mann Acharya, Vijayasri Iyer, S\'ebastien Brati\`eres·· 2 天前AI 评分34
RefactorPlatform：用于仓库级重构智能体受控评估的开源测试框架
RefactorPlatform: An Open-Source Harness for Controlled Evaluation of Repository-Scale Refactoring Agents
AI 导读
RefactorPlatform 是一个开源评估框架，通过固定环境、显式变化模型骨干（OpenRouter 与 GitHub Copilot CLI）、执行模式（基线、检索增强、多智能体）和提示词具体度，对仓库级重构智能体进行受控评估。
正文 · AI 翻译
摘要：仓库级重构要求编码智能体在不改变程序行为的前提下，将单个变更传播到众多相互依赖的文件中，但据我们所知，尚无现有测试框架能分离出决定智能体在此任务上成败的设计选择。我们提出 RefactorPlatform，一个开源评估框架，它固定环境不变，并显式地改变每个设计维度：模型主干（通过 OpenRouter 和 GitHub Copilot CLI）、执行机制（基线、检索增强和多智能体）以及提示词具体程度。每次运行都在隔离的工作区中执行，具备实时终端流式输出、按任务记录 token、差异和对话记录、基于 AST 的验证，以及可导出的遥测数据以供审计和复现。我们在 100 个多文件 RefactorBench 任务上跨四个模型家族演示该平台，展示其支持的分析：AST 感知分块在各类提示模式下比朴素 token 窗口分块高出 25-30 个百分点（pp），而朴素检索则低于无检索基线；一个精简的检索增强单智能体（86%）在匹配任务上优于我们评估的子智能体配置（66%），且没有任务在委派下通过却在检索下失败；检索的准确率提升吸收了其 token 开销，使每次成功重构的成本保持不变。RefactorPlatform 已开源，以使重构智能体评估可复现、可审计。
| 评论： | 被 EMNLP 2026 System Demonstrations 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.04898 [cs.CL] |
| （或 arXiv:2609.04898v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.04898 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Vijayasri Iyer [查看邮箱]
[v1]
2026年9月4日星期五 08:58:10 UTC（185 KB）
[v2]
2026年10月15日星期四 12:45:09 UTC（185 KB）
来源：arXiv cs.CL · arxiv.org