arXiv cs.AI· Andrea Gurioli, Davide D'Ascenzo, Federico Pennino, Maurizio Gabbrielli, Stefano Zacchiroli·· 9 天前AI 评分27
SourceTracker：面向 LLM 生成代码片段的高效可扩展溯源追踪
Efficient and Scalable Provenance Tracking for LLM-Generated Code Snippets
AI 导读
研究团队提出 SourceTracker——一个 300M 参数的代码检索编码器，并搭配两阶段溯源追踪流程 HybridSourceTracker（HST）：先用向量搜索缩小候选片段范围，再用 Winnowing 对精确指纹重排序。
正文 · AI 翻译
摘要：用于代码补全和生成的大语言模型（LLM）在软件开发中日益普及，但它们可能逐字复制训练样本且不注明作者归属，从而引发抄袭和许可合规方面的法律与伦理问题。基于指纹的经典抄袭检测器（如 Winnowing）仍然非常有效，但其检查需要将代码片段与整个训练集进行比较，且其线性时间搜索使其难以适用于训练现代代码 LLM 所用的十亿级语料库。为弥合这一差距，我们推出 SourceTracker，一个专为代码检索定制的 3 亿参数编码器，以及一个混合两阶段来源追踪流水线 HybridSourceTracker（HST）。HST 首先通过向量搜索缩小到一小组候选片段，然后使用 Winnowing 对精确指纹对这些候选进行重排序。我们在 TheStackV2 数据集的 1000 万片段子集上训练和评估我们的系统，其中包含逐字片段和模拟真实标识符重命名的改编片段。在具有改编查询的体外 10 万片段搜索空间中，我们的混合方法在 30 个 token 的片段上达到了与 Winnowing 相当的平均倒数排名。然后，从窗口 >= 60 个 token 开始，它始终以高达 5.4% 的优势胜出，同时保持对数时间的查询复杂度。在使用基于 LLM 的评判器的补充评估中，我们发现许多未被标记为真实答案的检索片段仍与预期来源高度相似，尤其是在较长的上下文窗口下，因此对最终用户仍然有用。总体而言，我们的结果表明，将向量搜索与指纹识别相结合，能够为 LLM 生成的代码实现可扩展、高精度的来源追踪，前提是其训练数据可被访问……
| 评论： | 文章已被《系统与软件杂志》接收 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；信息检索（cs.IR） |
| 引用为： | arXiv:2605.28510 [cs.SE] |
| （或 arXiv:2605.28510v3 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.28510 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Andrea Gurioli [查看电子邮件]
[v1]
2026 年 5 月 27 日星期三 14:12:17 UTC（309 KB）
[v2]
2026 年 6 月 8 日星期一 10:22:34 UTC（309 KB）
[v3]
2026 年 10 月 8 日星期四 07:47:28 UTC（279 KB）
来源：arXiv cs.AI · arxiv.org