定位不等于可控：LLM 数学符号错误的机制研究

查看 PDF HTML（实验性）

摘要：当大语言模型进行多步数学运算时，一种特征性失败会反复出现：模型在计算中途写错一个符号 token——一个余子式符号、递归分部积分步骤中的负号——然后正确地执行其余算术运算，最终答案却是错的。我们探究这个符号是在网络内部的何处被写下的。在六个参数规模从 14B 到 675B 的开放模型中，逐层读出显示错误符号是在较晚阶段被确定的——由网络最后四分之一的 MLP 层确定（各模型和任务中占 70-100%），在已测试的模型（Qwen）中，这一模式在指令微调之前的基座模型中就已存在。其机制各不相同：一些模型带有固定的“负号印章”层，无论正确答案如何都会推入一个负号；另一些模型则放大已经选定的那个符号；Qwen 还增加了一个下游的救援层来对抗该印章。该电路具有因果性：从残差流中减去单个符号方向，可使 Llama-3.3-70B 上 14 个留出的“负号写错”分部积分错误中的 13 个发生翻转，且翻转在 Qwen、Gemma 和 Mistral-Small 上可复现（各单元格 24-70%），并具有表示层面的特异性——在方向具有精准性的情况下，相同剂量会破坏正确带负号的答案，而不影响正确带正号的答案（Llama 上为 0/72），而匹配的随机方向和对照层干预则无效果。核心主张已预注册，通过标准在查看留出数据之前就已冻结在 git 中：29 项检查中 23 项通过，所有未通过项均已报告。但因果性并不一致：Phi-4 在同样较晚的深度实现了一个同样定位良好的电路，但相同的干预几乎不产生任何翻转——符号被冗余地写在约 15 层中，且裕度大数倍（中位数 17.8 logits）。我们由此得出结论：定位并不意味着可操控性：两个模型可以共享同一电路位置，但在其可被推翻的程度上却差异巨大。

评论：	61 页。代码、逐案例结果和预注册：此 https URL
主题：	机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL）
引用为：	arXiv:2611.07478 [cs.LG]
	（或 arXiv:2611.07478v1 [cs.LG] 为此版本）
	https://doi.org/10.48550/arXiv.2611.07478 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Shradha Agarwal [查看电子邮件]
[v1] 2026 年 11 月 5 日星期四 05:36:28 UTC（2,990 KB）