arXiv cs.CL· Piotr Wilam·· 10 小时前AI 评分34
OpenCoder-1.5B 预训练中的表征漂移：行为稳定，承载神经元不稳定
Representational drift in a code model: behaviour settles, which neurons carry it does not
AI 导读
研究在 2 万亿 token 预训练中测量 OpenCoder-1.5B 的表征漂移，发现 169 个 Python 语法结构中有 16 个的下一 token 损失在训练前 4% 内即达下限，而模型对承载神经元的依赖持续增长。
正文 · AI 翻译
摘要：在神经科学中，表征漂移是指神经元所承载的表征发生变化而行为保持不变的现象；我们在预训练期间测量了 OpenCoder-1.5B 中的类似现象，针对 169 个 Python 构造、在恒定学习率下跨越两万亿个 token，每次变化都配有噪声单位，检查点间隔近至 1,000 个训练步。对于这 169 个构造中的 16 个——其语法固定了下一个 token——这些位置的损失在训练的前 4% 内就达到了下限，而模型对承载它们的神经元的依赖一直增长到最后：在 40 亿、840 亿和 2 万亿 token 时，移除这些神经元比移除随机集合分别多付出 0.06、0.25 和 0.40 nats 的代价。承载某个构造的神经元从未稳定下来：对于全部 169 个构造，承载集合在最后一个检查点仍在变化，而在 840 亿到 1.5 万亿 token 之间的任何时间点突然稳定、或在 5000 亿之前逐渐稳定，都会在 99% 的注入案例中被检测到。在 840 亿 token 时测得的集合，在最后移除时，无法与随机集合区分，因此该功能由当时当前的任何神经元承载。近距离观察，变化是一个持续存在的池子和一个不断变化的样本：离开某个构造集合的神经元以匹配神经元三倍的速率返回，且没有任何集合重新聚合。我们事先固定的假设——承载者会稳定下来——被驳斥；我们讨论了可能的成因，并指出了能够区分它们的实验。
| 评论： | 16 页，4 幅图，2 张表。数据集：AtlasOpenCoder，标签 v1，doi:https://doi.org/10.57967/hf/11472。代码：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| ACM 分类： | I.2.6; I.2.7 |
| 引用为： | arXiv:2611.09204 [cs.CL] |
| （或 arXiv:2611.09204v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.09204 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Piotr Wilam [查看电子邮件]
[v1]
2026 年 11 月 6 日星期五 09:24:13 UTC（1,198 KB）
来源：arXiv cs.CL · arxiv.org