arXiv cs.CL· Neeraja Kirtane, Kuan-Hao Huang·· 3 天前AI 评分26
语言引导实现多语言上下文学习：语言向量方法
Language Steering for Multilingual In-Context Learning
AI 导读
研究者提出"语言向量"方法，通过计算平行语料在特定层的平均激活差异，在推理时对模型隐藏状态施加偏移，无需更新参数即可提升多语言上下文学习效果。该方法在覆盖 19 种语言、3 个模型的 3 项任务上均优于英文少样本提示，且向量呈现可解释的语言结构——相近语言形成紧密聚类，跨任务和跨语言迁移效果更好。
正文 · AI 翻译
摘要：如果多语言语言模型的表示中包含可分离的、与语言相关的结构，那么语言之间的切换可能只需要简单的激活空间干预。为了验证这一假设，我们将多语言上下文学习（ICL）作为一个受控设置来研究：少样本示例以英语提供，而测试查询使用目标语言，从而构成一个清晰的跨语言迁移挑战。我们提出了语言向量，其计算方式为在特定层上平行源语言与目标语言示例之间的平均激活差异，并在推理时作为偏移量应用于模型的隐藏状态。在涵盖 19 种语言、三个模型的三个任务上，我们的方法在无需任何参数更新的情况下优于英语少样本提示。除性能之外，这些向量还编码了可解释的语言结构：密切相关的语言形成紧密的聚类，且向量能够有效地跨任务和语言迁移，其中密切相关语言的向量比远缘语言能恢复更多的增益。总之，这些发现表明语言在多语言激活空间中占据着结构化的方向，并且对英语示例进行推理时干预可以缩小跨语言 ICL 差距。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2602.02326 [cs.CL] |
| （或 arXiv:2602.02326v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.02326 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Neeraja Kirtane [查看邮箱]
[v1]
2026年2月2日星期一 16:52:09 UTC（734 KB）
[v2]
2026年4月1日星期三 17:54:08 UTC（727 KB）
[v3]
2026年10月14日星期三 15:10:55 UTC（7,157 KB）
来源：arXiv cs.CL · arxiv.org