研究：token表征逐层流动呈非线性
热点事件持续更新
研究：token表征逐层流动呈非线性
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Alexandre Quemy 将 Pythia-160M 与 Pythia-410M 的语料均值轨迹拟合为离散 Langevin 模型，发现二次漂移在两个模型每一层转换上都优于线性映射，即 token 表征的深度流动呈非线性。 研究称，均值轨迹的单步近似仿射（仅 3% 非仿射），单个状态则达 17%；漂移下降的是一个势函数而非自身对数密度，旋转分量占可解释漂移的 4% 至 45%。token 在全部十三层、两个语料和两个模型上均保持角排名与局部密度排名。
AI 根据报道生成 · 58 分钟前更新
最新进展11月2日 13:00
研究揭示 token 表征的深度流动呈非线性，且不沿自身密度下降报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv cs.CL研究揭示 token 表征的深度流动呈非线性，且不沿自身密度下降
研究将 Pythia-160M 与 Pythia-410M 的语料均值轨迹拟合为离散 Langevin 模型，发现二次漂移在两个模型每一层转换上都优于线性映射。均值轨迹的单步近似仿射（仅 3% 非仿射），单个状态则达 17%；漂移下降的是一个势函数而非自身对数密度，旋转分量占可解释漂移的 4% 至 45%。token 在全部十三层、两个语料和两个模型上均保持角排名与局部密度排名。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。