arXiv cs.AI· Yongding Tian, Zaid Al-Ars, Maksim Kitsak, Peter Hofstee·· 4 小时前AI 评分31
低损失区域错位导致 Grokking:基于模式连通性的分析框架
Misalignment of Low-Loss Regions Causes Grokking
AI 导读
研究提出基于模式连通性与低损失区域几何的分析框架,指出 Grokking 源于训练集与验证集所诱导的低损失区域错位。在保持对称性的训练/验证划分下,标准模运算设置出现验证性能不恢复的稳定反例(anti-grokking),挑战了现有相关性解释。一旦两个区域良好对齐,仅靠训练超参数无法产生 Grokking,训练动态退化为可训练或不可训练两种行为。
正文 · AI 翻译
摘要:Grokking 指的是模型在已经对训练集过拟合之后,验证集泛化性能延迟出现。尽管这一现象最初是在用 transformer 训练的小型算法任务中观察到的,但其内在机制仍未确定。在本工作中,我们基于模式连通性和低损失区域的几何结构,构建了一个分析框架。该框架预测,标准的模算术设置并不总是产生 grokking:在保持对称性的训练/验证划分下,我们观察到一个稳定的反 grokking 案例,其中验证性能并未恢复。这一反例对若干现有的 grokking 相关性解释提出了挑战。更广泛地说,我们的分析框架和结果进一步表明,当训练划分和验证划分所诱导的低损失区域未对齐时,grokking 就会出现。一旦这些区域良好对齐,仅靠训练超参数无法产生 grokking,观察到的动态会坍缩为可训练或不可训练的行为。
| 评论: | 28 页,27 幅图 |
| 主题: | 机器学习(cs.LG);人工智能(cs.AI) |
| 引用为: | arXiv:2610.00620 [cs.LG] |
| (或本版本的 arXiv:2610.00620v2 [cs.LG]) | |
| https://doi.org/10.48550/arXiv.2610.00620 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Yongding Tian [查看邮箱]
[v1]
2026 年 9 月 30 日星期三 19:22:20 UTC(2,371 KB)
[v2]
2026 年 11 月 17 日星期二 16:09:05 UTC(3,126 KB)
来源:arXiv cs.AI · arxiv.org