小型编码智能体如何使用代码图与嵌入向量？

作者：Saurav Bellam（德克萨斯大学奥斯汀分校）

摘要：编码智能体被赋予嵌入搜索和代码图工具，其前提是仓库结构是模型所缺乏的、而工具能提供的东西。我们在 SWE-bench Verified 上用小型开放权重模型检验这一前提，按确定性跳数深度（从问题提及的代码到黄金补丁所改代码的最短代码图路径）对任务分层，该深度由一篇配套论文定义并验证。首先，我们在一个深度均衡的 160 任务划分上，以及在全部 500 个任务上，对十个模型（六个 Qwen3 规模，从 0.6B 到 32B，每个五种解码方式，一个 FP8 对照，三个 Gemma 4 规模；79k 个回合）消融定位智能体的工具集（仅 grep；+嵌入搜索；+图工具；全部）。结构化工具使 Qwen3-8B 和 Gemma 4 E4B 的仅 grep 准确率翻倍；其增益在 1.7-4B 达到 17-21 个百分点的峰值，到 32B 降至 4-5 个百分点（参数每翻一倍的优势比为 0.77-0.82）。从 8B 起，该增益约有一半来自提交形式而非找到目标；从 14B 到 32B 的下降是在仅 grep 准确率相同的情况下工具采用率的下降；而同样的 4B 规模会因检查点不同而从某个工具中获益或不获益。每多一跳，正确本地化的几率在每个规模上都乘以 0.50-0.67，且没有任何工具集能抹平这一梯度：轨迹显示图工具的增益在第 0 跳是名称查找、在第 1 跳是一次扩展，而智能体仅在 12-14% 的回合中串联扩展。一个固定的修复模型从这些本地化结果中解决了 160 个任务中的 6-13 个（oracle 为 26）。其次，线性探针发现直接调用边可在锚点内、按度数分层的协议下解码（AUC 0.74；在智能体对话内为 0.61-0.66），但低于词汇基线（0.99），两跳边为 0.57。小型智能体对其仓库持有一幅一跳的、很大程度上是词汇性的图景，无论是在权重中还是在使用中。我们发布智能体、探针、日志和轨迹。

评论：	29 页，5 幅图。深度标签、数据集卡片以及完整代码、原始结果和分析将在不久的将来发布
主题：	软件工程（cs.SE）；计算与语言（cs.CL）；机器学习（cs.LG）
引用为：	arXiv:2610.33958 [cs.SE]
	（或 arXiv:2610.33958v1 [cs.SE] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.33958 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Saurav Bellam [查看电子邮件]
[v1] 2026 年 10 月 25 日周日 00:16:32 UTC（197 KB）