跳到正文
arXiv cs.CL· Xueping Gao·· 23 小时前AI 评分31

编码智能体的检查通过不等于任务完成:证据解释问题研究

When Passing Checks Do Not Establish Completion: Evidence Interpretation in Coding Agents

AI 导读

一项十三任务因子研究发现,编码智能体正确报告的执行事实未必能得出所要求的有限结论;在留出回执供给研究中,122 个交付标签全部正确,但有 16 个响应误报事实、11 个超出授权范围。31 个任务上的 118 次修复实验显示,源码干预可将启动可达性与修复、见证生成与声称操作区分开,而生成笔记对比仅带来局部修复差异且可能给出错误解释。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:编码代理中的验证流程必须保留执行事实、解释其作用范围并履行检查义务。我们通过限定范围的仓库检查、受控证据消费者和可执行工作流来研究这些职责。一项前瞻性的十三任务析因研究发现,正确报告的事实未必能得出所要求的有限结论。相反,在一项留出回执供给研究中,全部 122 个交付标签均正确,但有十六个响应错误报告了事实,另有十一个超出了授权范围。生产修复提供了成功对照和有限支持的保留失败。在 31 个任务上的 118 个修复事件中,源干预将启动可达性与修复区分开来,并将见证生成与所声称的操作区分开来。生命周期和资源控制界定了通过验证所能确立的内容。生成笔记比较产生了局部修复差异,但可能陈述错误的解释;强普通基线、新任务和技能迁移研究均未提供一致的总体优势。这些结果刻画了证据解释、适用性和已履行动作,同时限制了对一般诊断优越性、技能退化或部署折叠效应的主张。
评论: 12 页;补充材料作为辅助文件包含在内
主题: 计算与语言(cs.CL);软件工程(cs.SE)
引用为: arXiv:2611.22835 [cs.CL]
  (或 arXiv:2611.22835v1 [cs.CL] 为此版本)
  https://doi.org/10.48550/arXiv.2611.22835

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Xueping Gao [查看电子邮件]
[v1] 2026 年 11 月 17 日星期二 14:17:43 UTC(543 KB)

来源:arXiv cs.CL · arxiv.org