arXiv cs.CL· Seunghan Kim, Minyeong Choe, Hyunil Kim, Haehyun Cho·· 10 天前AI 评分24
Bridge Routing Heads：多语言多跳推理在 LLM 中的位置
Bridge Routing Heads: Where Multilingual Multi-hop Reasoning Lives in LLMs
AI 导读
研究通过三阶段流程在 Llama 3.1 70B 和 Qwen 2.5 72B 中识别出 Bridge Routing Heads（BRH），其语言专属头集合在五种语言间近乎互斥，平均 Jaccard 相似度仅 0.017 和 0.057。
正文 · AI 翻译
摘要：多语言大语言模型能够跨语言回答同一个多跳推理问题，但我们缺乏对其是否共享内部回路的机制性解释。我们通过三阶段流程在两个大型多语言大语言模型中识别出桥接路由头（BRH）。所得的语言特定头集合在五种语言间表现出近乎完全的互斥性，Llama 3.1 70B 的平均 Jaccard 相似度仅为 0.017，Qwen 2.5 72B 为 0.057，揭示了语言特异性的回路。消融通用 BRH 会使两跳负对数似然（NLL）增加到随机头基线的 39-89 倍，为其作用提供了直接的因果证据。在失败的目标语言推理中放大这些头，无需训练即可挽救高达 51.7% 的跨语言失败案例。两个模型共享这种双回路模式，但头的分配方式不同：Llama 将链式推理集中在一个大型通用池中，而 Qwen 则依赖更大的语言特定池。这些结果共同表明，仅靠激活层面的干预就能从跨语言推理失败中恢复出正确答案。
| 评论： | 已被 EMNLP 2026 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.09733 [cs.CL] |
| （或 arXiv:2610.09733v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09733 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Minyeong Choe [查看邮箱]
[v1]
2026年10月7日星期三 09:28:25 UTC（18,293 KB）
来源：arXiv cs.CL · arxiv.org