OpenCoder-1.5B预训练表征漂移测量
热点事件持续更新
OpenCoder-1.5B预训练表征漂移测量
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Piotr Wilam 发表研究，在 2 万亿 token、恒定学习率的预训练过程中测量 OpenCoder-1.5B 对 169 个 Python 语法结构的表征漂移。研究发现，其中 16 个结构的下一 token 损失在训练前 4% 内就达到下限，但模型对承载神经元的依赖持续增长。 研究据此区分了行为层面的稳定与承载神经元的持续变化：任务表现早已饱和，内部依赖结构却仍在变动。
AI 根据报道生成 · 1 小时前更新
最新进展11月9日 13:00
OpenCoder-1.5B 预训练中的表征漂移：行为稳定，承载神经元不稳定报道时间线
沿着报道，了解事件的不同侧面。
11月9日
- arXiv cs.CLOpenCoder-1.5B 预训练中的表征漂移：行为稳定，承载神经元不稳定
研究在 2 万亿 token 预训练中测量 OpenCoder-1.5B 的表征漂移，发现 169 个 Python 语法结构中有 16 个的下一 token 损失在训练前 4% 内即达下限，而模型对承载神经元的依赖持续增长。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。