arXiv cs.AI· Guoyang Xu, Rui Zhang, Xiuyu Wu, Hao Chen·· 2 天前AI 评分44
编码智能体的报告遗漏了什么：CTXGAP 测量执行上下文与报告之间的任务状态差距
What Coding Agents Leave Unsaid: Measuring Task-State Gaps Between Execution and Reports
AI 导读
CTXGAP 测量研究发现，编码智能体在按需回答任务状态问题时准确率达 93.6%，但仅读报告的监督者只能恢复 52.0%，与全上下文读者的 92.7% 相差 40.7 个百分点。在 30 个已验证修复的最终检查点上差距仍有 34.8 个百分点，完整终端回滚可将恢复率提升至 73.6%，但仍不及全上下文。该研究将基于报告的任务状态可恢复性确立为一项补充评估维度。
正文 · AI 翻译
摘要：人类监督者依赖编码代理的报告来评估进度、验证修复并决定何时介入。但监督者无法调查一个从未被告知发生过的故障。失败的尝试、变通方法和未解决的风险可能会从常规报告中消失，使监督者对那些值得审查的问题一无所知。我们开展了 CTXGAP，这是一项测量研究，量化代理累积的面向用户的报告与其完整记录的执行上下文之间在任务状态可恢复性上的差距。在 37 个编码任务和 4,799 次有效探测中，代理按需回答 93.6% 的任务状态问题；完整上下文读者恢复了 92.7%，而仅报告读者恢复了 52.0%，相差 40.7 个百分点。在 30 个已验证修复的最终检查点上，差距仍为 34.8 个百分点。人工标注将提及但缺乏足够支撑细节的状态确定为未恢复信息的最大类别，而模型评估的监督相关状态仍存在显著差距。完整终端回滚可将恢复率提升至 73.6%，但仍落后于完整上下文。在报告长度匹配的情况下，上下文知情的重写将恢复率提高约 8 个百分点，未发现针对性优于自然性的优势。正向差距在各类测试框架以及独立的 DeepSeek 执行与测量中持续存在。CTXGAP 将基于报告的任务状态可恢复性确立为一个互补的评估维度。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.20003 [cs.AI] |
| （或 arXiv:2610.20003v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20003 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Rui Zhang [查看电子邮件]
[v1]
2026年10月14日星期三 11:20:15 UTC（2,963 KB）
[v2]
2026年10月15日星期四 08:51:29 UTC（2,965 KB）
来源：arXiv cs.AI · arxiv.org