arXiv cs.CL· Atai Waris Khan, Abdullah Mazhar, Raghu Kumar, Md Shad Akhtar·· 2 天前AI 评分24
TITAN：面向低资源多语言翻译的翻译电路发现与定向优化
Translation Circuit Discovery and Targeted Optimization for Low-Resource Multilingual Translation
AI 导读
研究者提出 TITAN 机制框架，结合因果干预、稀疏特征分解与定向偏好优化，识别并优化 Transformer 中关键的翻译电路，仅更新不到 5% 的模型参数。
正文 · AI 翻译
摘要：近期的多语言大语言模型取得了强劲的翻译性能，但支撑低资源多语言翻译的内部机制仍未被充分理解。本文研究了多语言仅解码器 LLM 中用于印地语到乌尔都语以及印地语到信德语（天城文）的翻译回路。我们提出了 TITAN，一个机制性框架，它结合了因果干预、稀疏特征分解和定向偏好优化，以识别并优化 transformer 中关键的翻译组件。与传统的全参数微调不同，TITAN 将优化限制在稀疏的、因果重要的回路上，从而实现可扩展且参数高效的适配，同时更新的模型参数不足 5%。实验结果表明，TITAN 在印地语到乌尔都语上相比最强的多语言基线实现了 33.75% 的 BLEU 提升，在印地语到信德语上实现了 45.86% 的提升。人类专家评估进一步证实了这两个语言对在充分性和流畅性上的显著提升。进一步分析表明，多语言翻译是通过在共享语义子空间上运行的稀疏结构化回路实现的，而非通过以英语为中心的枢轴表示。总体而言，我们的发现表明，机制性回路发现可以直接改进低资源多语言翻译，同时为多语言 transformer 行为提供可解释的洞见。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.21456 [cs.CL] |
| （或 arXiv:2610.21456v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21456 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Abdullah Mazhar [查看邮箱]
[v1]
2026年10月15日星期四 07:57:10 UTC（2,996 KB）
来源：arXiv cs.CL · arxiv.org