arXiv cs.CL· Danlin Li, Miao Li, Xu Han, Jiecheng Lu·· 3 天前AI 评分22
目标 token 不对称如何伪装成语言模型的深度特化
Target-Token Asymmetry Can Masquerade As Depth Specialization
AI 导读
层消融研究常把跨语料库的早层损伤差异解读为任务特化，但 arXiv 论文指出这可能只是目标 token 类型不同造成的假象。在 GSM8K 与 Wikitext 之间，正交互效应在五个模型实例上复现，而三个完全分解的模型中只有空白字符呈正交互；移除空白字符后三者汇总效应全部反转，匹配完整目标混合后两个模型反转。
正文 · AI 翻译
摘要：层消融研究通常会扰动语言模型的早期或晚期层，比较对两个语料库预测的损害，并将某一语料库上更大的早期层效应解读为该任务的早期层专门化。这种比较对每个语料库要求模型预测的 token 取平均，而这些目标 token 各不相同：例如，数学解答要求的空白和数字远多于百科全书散文。我们表明，这种差异可能造成深度专门化的假象。我们按目标 token 类型拆分跨语料库的早期—晚期损害交互，并在两个语料库共享的目标混合下重新计算。在 GSM8K 与 Wikitext 之间，正向交互在五个模型实例上得到复现。在三个完全分解的模型中，只有空白具有正向交互。移除空白在三个模型中均逆转了合并效应，而匹配完整目标混合则在两个模型中逆转了它。该诊断在位置匹配、token 类型的对抗性重新分配以及连续读出下均成立。这种风险也可以仅从分词器预见到。在任何模型运行之前计算的一项筛查将其评分的每一对留出样本都置于其标签所预测的区域，而在其评为高或中等风险的样本对上，移除空白逆转了每一个正向合并估计。提前一个 token 的较小内容词效应跟随未消融模型已经预测的内容目标占比。因此，跨语料库深度效应只有在报告目标 token 混合、按 token 类型分解效应，并且混合匹配的汇总保持其符号之后，才支持任务专门化的解释。
| 评论： | 48 页，7 幅图 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.19344 [cs.CL] |
| （或 arXiv:2610.19344v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19344 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Danlin Li [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 00:36:45 UTC（802 KB）
来源：arXiv cs.CL · arxiv.org