arXiv cs.AI· Indraneil Paul, Falko Helm, Goran Glava\v{s}, Iryna Gurevych·· 3 天前AI 评分37
OctoLong：用跨仓库代码上下文做中期训练提升长上下文建模
OctoLong: Mid-Training On Cross-Repository Code Contexts Enhances Long-Context Modeling
AI 导读
研究团队提出 OctoLong，一套结合 AST 解析器、语言服务器后端与包管理器递归检索代码引用的上下文工程流水线，可构建长达数百万 token 的依赖丰富代码上下文。
正文 · AI 翻译
摘要：语言模型（LM）的上下文长度已大幅增加，这源于上下文学习、自我改进和长时程智能体工作流的需求。然而，现有的长上下文语料库以书籍、学术文章和代码仓库为主，这些资源有限，且往往缺乏长距离依赖。在本工作中，我们提出 OctoLong，一种上下文工程流水线，它集成了 AST 解析器、语言服务器后端和包管理器，以递归检索代码引用，从而能够构建依赖丰富、长度可达数百万 token 的代码上下文。随后，我们训练了 OctoLong-Instruct，一套能力强大的长上下文开源 LM，其基础模型规模从 600M 到 14B 参数不等，通过在约 50B token 的混合数据（其中约 6.2B token 为 OctoLong 代码上下文）上进行上下文扩展中期训练，随后进行约 10B token 的指令微调。我们的消融实验和针对 18 个强大的长上下文开放权重 LM 的实验评估表明，仅用 OctoLong 数据替换 12% 的常规上下文扩展语料库，就能在长距离检索、长期状态跟踪、仓库级代码理解和下游智能体任务中带来显著提升，同时还能增强常规编码场景中的 API 使用。
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG）；软件工程（cs.SE） |
| 引用为： | arXiv:2608.05141 [cs.AI] |
| （或使用 arXiv:2608.05141v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2608.05141 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Indraneil Paul 先生 [查看电子邮件]
[v1]
2026年8月5日星期三 17:58:15 UTC（640 KB）
[v2]
2026年10月13日星期二 12:47:27 UTC（678 KB）
来源：arXiv cs.AI · arxiv.org