arXiv cs.CL· Faridoun Mehri, Hinrich Sch\"utze·· 2 天前AI 评分29
预训练表示中线性可读的知识更易在微调后泛化
Knowledge That Is Linear Before Fine-Tuning Generalizes After It
AI 导读
研究区分了语言模型中的"活跃事实"与"惰性事实"：前者支持超出自身回忆的泛化，后者只能被回忆。在11个语言模型和70个关系上，原始关系在预训练表示中的线性可读程度强烈预测微调后的泛化能力，关系间相关系数达 Pearson r = 0.87 至 0.92，且该关联在控制微调样本数、答案数、原关系准确率及预训练词频后依然成立。
正文 · AI 翻译
摘要：语言模型能回忆起来的事实并非都能同样好地支持进一步学习。我们区分了主动事实与惰性事实：主动事实支持超出其自身回忆的泛化，而惰性事实虽可被回忆，但在给定任务中不支持这种泛化。我们通过从已有关系构建新关系来研究这一区分。以将地点映射到其所属大洲的关系为例（Paris -> Europe），并为其每个答案分配一个任意的新标签（Europe -> crab，Asia -> zebra）。新关系随后将 Paris 映射到 crab。我们在新关系上对一部分主语微调模型，不告诉它原始关系或重新标记规则，然后测试它是否会将相应的标签分配给在原始关系中共享同一答案的留出主语。学会了 Paris -> crab 之后，它能否回答 Munich -> crab？在十一个语言模型和 70 个关系中，原始关系在预训练表示中的线性可读性强烈预测了这种泛化。在每个模型内部，二者在关系间的相关性为 Pearson r = 0.87 至 0.92。当分别和联合控制微调主语与答案的数量、模型在原始关系上的准确率以及主语在预训练文本中出现的频率时，这种关联依然存在。它对重新随机化标签分配和微调随机种子，以及将动物标签替换为来自其他十三个语义类别的标签，也具有稳健性。当我们将微调模型的错误标签映射回其被分配到的原始答案时，Munich -> zebra 就变成了 Munich -> Asia。以这种方式恢复的答案，比预训练模型自身的答案更常出现在线性探针针对该主语的最高答案之中。新关系能否泛化，较少取决于其事实能否被回忆，而更多取决于它们的共享结构能否被线性地轻易读出。
| 评论： | 25 页，8 幅图，7 张表。代码和数据：此 https URL |
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| ACM 分类： | I.2.6；I.2.7 |
| 引用为： | arXiv:2610.22300 [cs.CL] |
| （或 arXiv:2610.22300v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22300 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
发件人：Faridoun Mehri [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 17:47:52 UTC（357 KB）
来源：arXiv cs.CL · arxiv.org