arXiv cs.AI· Nicolas Chapados, Jean-Fran\c{c}ois Gagn\'e, Nouha Dziri·· 10 小时前AI 评分38
Metrics-in-the-Loop:复杂度反馈重塑智能体编写的代码
Metrics-in-the-Loop: Complexity Feedback Reshapes Agent-Written Code
AI 导读
研究提出 metrics-in-the-loop 推理时干预方法,在编码智能体每轮改代码后注入自动计算的代码指标反馈,提示圈复杂度超限的函数或被测试跳过的改动行。在三个长周期编码基准和四个强模型上的实验显示,复杂度反馈显著降低代码侵蚀(复杂度集中度指标),且不影响留出集正确性。
正文 · AI 翻译
摘要:编码智能体现在能在长时间自主运行中编写整个代码库,其主要依据是测试是否通过。然而,仅凭测试通过并不能揭示不断累积的复杂性或测试覆盖率的缺口,而这些缺口会在智能体扩展自身代码时持续存在。我们提出了 metrics-in-the-loop,一种推理时干预方法,在轨迹过程中向智能体提供即时反馈:将廉价、自动计算的代码指标注入智能体的上下文。在每个修改代码的智能体回合之后,我们插入简短的反馈消息,指出圈复杂度超过阈值的已修改函数(复杂度反馈),或被测试跳过的已修改代码行(覆盖率反馈),使智能体有机会在继续之前重构代码或加强测试。我们进行了大量实验和消融研究,在三个长时程编码基准和四个强模型上比较了多种干预方法。我们发现,复杂度反馈显著减少了代码侵蚀(一种衡量代码复杂度集中度的指标),且不影响代码的留出正确性。总体而言,我们的实验研究了一种实用的智能体“重新引导”形式,即及时、可操作的度量在弱点成为智能体持续构建的基础之前对其进行重定向。随着智能体扩展到数百万行的代码库,此类干预对于维持有效开发和长期代码可维护性变得至关重要。
| 评论: | Agent Evaluation Science Symposium,2026 年秋季,纽约市 |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.23817 [cs.AI] |
| (或 arXiv:2611.23817v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.23817 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Nicolas Chapados [查看电子邮件]
[v1]
2026 年 11 月 18 日星期三 04:19:48 UTC(468 KB)
来源:arXiv cs.AI · arxiv.org