arXiv cs.AI· Rhitabrat Pokharel, Ameeta Agrawal, Tanay Nagar·· 10 天前AI 评分25
CLAS：面向多语言大模型的跨语言激活引导方法
Cross-Lingual Activation Steering for Multilingual Language Models
AI 导读
研究者提出免训练的推理时干预方法 CLAS（Cross-Lingual Activation Steering），通过选择性调节神经元激活来缩小大模型的多语言性能差距，在分类和生成基准上分别平均提升 2.3%（Acc.）和 3.4%（F1），同时保持高资源语言性能。该方法无需修改模型权重，且性能提升与语言聚类分离度增加相关，表明有效迁移依赖功能分化而非严格对齐。
正文 · AI 翻译
摘要：大型语言模型展现出强大的多语言能力，但主导语言与非主导语言之间仍存在显著的性能差距。先前的研究将这一差距归因于多语言表示中共享神经元与语言特定神经元之间的不平衡。我们提出跨语言激活引导（CLAS），一种无需训练的推理时干预方法，可选择性地调节神经元激活。我们在分类和生成基准上评估 CLAS，分别取得平均 2.3%（准确率）和 3.4%（F1）的提升，同时保持高资源语言的性能。我们发现有效的迁移通过功能分化而非严格对齐来实现；性能提升与语言聚类分离度的增加相关。我们的结果表明，有针对性的激活引导可以在不修改模型权重的情况下释放现有模型中潜在的多语言能力。
| 评论： | 已被 INLG 2026 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.16390 [cs.CL] |
| （或 arXiv:2601.16390v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.16390 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Rhitabrat Pokharel [查看邮箱]
[v1]
2026年1月23日星期五 01:41:17 UTC（461 KB）
[v2]
2026年10月6日星期二 17:23:35 UTC（645 KB）
来源：arXiv cs.AI · arxiv.org