arXiv cs.CL· Zhexi Feng, Ruiyi Zhang, Yongbo Yang, Pengtao Xie·· 10 小时前AI 评分38
面向编码智能体的状态条件最小充分证据:MSS-Complement 与 SERBench 基准
The Missing Complement: State-Conditioned Minimal Sufficient Evidence for Coding Agents
AI 导读
研究提出“状态条件最小充分证据恢复”任务,并发布 SERBench 基准,用 45 个仓库的 500 个智能体状态衡量证据集合是否满足当前决策的全部标注需求。
正文 · AI 翻译
摘要:检索通过按与当前查询的相关性对段落排序来组装仓库上下文。一个在 issue 处理到一半的编码智能体已经读过这类排序器返回的大部分内容。相关性是按段落评分的,但充分性属于集合层面:独立评分的段落可能把预算填满,只满足某一项需求,而另一项需求却得不到满足。我们提出状态条件下的最小充分证据恢复:给定捕获的智能体状态,恢复一个紧凑的证据组合,提供其下一步决策仍然缺少的内容。SERBench 在来自 45 个仓库的 500 个留出状态上对此进行测量,记录智能体已经看到的内容,只对满足当前决策每一项标注证据需求的集合计分,并将集合恢复与候选发现区分开来。MSS-Complement 将获取视为集合构建,而非排序。三次语义调用提出一个联合充分的集合,搜索其缺少的内容,并在 6,144 个 token 内返回 4-8 个完整的源单元。一个在校准数据上固定的配置,在五项时对其中 73.0% 的状态恢复出完整集合,八项时为 80.6%,而使用重排序的 Qwen3 嵌入分别为 61.4% 和 72.4%。一个仅按相似度排序的匹配对照恢复出的完整集合更少,说明其差距来自集合层面的策略,而非计算。这一领先优势在冻结的仓库源码上持续存在,且没有使用源自金标准的候选池。在 AMA-Bench 上,它从缩小 76.2% 的答案提示中作答,准确率比该基准自身的记忆智能体高 2.08 个百分点。从完整集合中移除一个必需组,会在两种执行器下降低修复定位精度。面向智能体的检索,更好的提法是恢复决策所缺少的内容,而不是对 issue 的相似性重新排序。
| 评论: | 32 页,3 幅图。基准与评估资源:此 https URL |
| 主题: | 信息检索(cs.IR);人工智能(cs.AI);计算与语言(cs.CL) |
| 引用为: | arXiv:2609.20050 [cs.IR] |
| (或本版本的 arXiv:2609.20050v3 [cs.IR]) | |
| https://doi.org/10.48550/arXiv.2609.20050 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Zhexi Feng [查看邮箱]
[v1]
2026 年 9 月 17 日星期四 10:56:47 UTC(8,964 KB)
[v2]
2026 年 9 月 26 日星期六 17:31:40 UTC(6,065 KB)
[v3]
2026 年 11 月 19 日星期四 12:47:39 UTC(5,894 KB)
来源:arXiv cs.CL · arxiv.org