arXiv cs.CL· Shaanil Punglia, Dadhichi Telwadkar, Vaibhav Rathore, Siddharth Sureka, Neha Bhargava·· 10 小时前AI 评分22
语言子空间干预能否提升多语言推理？研究揭示准确率与语言保真度的权衡
Beyond Accuracy: What Language-Subspace Interventions Capture, Remove, and Improve
AI 导读
研究在 MATH 和 MGSM 上评估四种开源权重 LLM 的语言子空间干预：Mean-SVD 与 DiffPCA 构建的子空间虽能捕捉大量翻译相关变化，但投影后线性探针仍几乎完美识别语言，说明二者均未穷尽语言信息。
正文 · AI 翻译
摘要：语言子空间干预旨在通过抑制中间层激活中与语言相关的成分来提升多语言推理能力。我们使用 MATH 和 MGSM 在四个开放权重 LLM 上提出三个问题：估计出的语言子空间是否捕捉到了与翻译相关的变异？将其投影出去是否能移除语言信息？它们能否在不损害回复语言的情况下提升准确率？对于第一个问题，我们使用现有的 Mean-SVD 构造方法和我们的 DiffPCA 构建子空间。两者都捕捉到了大量与翻译相关的变异，并在模型深度上表现出相似的模式。对于第二个问题，我们投影出每个子空间，并训练线性探针从投影后的激活中分类语言。探针仍几乎完美地识别语言，表明两个子空间都未能穷尽地捕捉语言信息。对于第三个问题，我们在 Qwen2.5-7B 上评估了多种干预配置，通过改变子空间创建方法和干预算子。我们发现，最能提升 MGSM 准确率的干预牺牲了回复语言保真度，只有一种干预略微提升了联合准确率$\unicode{x2014}$即答案正确且使用目标语言$\unicode{x2014}$提升了 1.60 个百分点。有趣的是，仅提示词的细微变化就能复现准确率提升，尽管会对语言保真度造成显著损害。我们认为，因果干预的评判不能仅看准确率，而应充分考虑语言替换的权衡。
| 评论： | AACL-IJCNLP 2026 Workshop Multi-LLL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.05278 [cs.CL] |
| （或 arXiv:2611.05278v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05278 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shaanil Punglia [查看邮箱]
[v1]
2026年11月3日 星期二 17:58:52 UTC（241 KB）
[v2]
2026年11月6日 星期五 04:35:03 UTC（241 KB）
来源：arXiv cs.CL · arxiv.org