arXiv cs.CL· Ailiang Lin, Zhuoyun Li, Yusong Wang, Keyu Mao, Kotaro Funakoshi, Manabu Okumura·· 11 小时前AI 评分31
PRSR：通过配对残差子空间移除改进多语言免训练文本嵌入
Steering beyond Language: Improving Multilingual Training-Free Text Embeddings via Paired-Residual Subspace Removal
AI 导读
研究者提出免训练推理时干预方法 Paired-Residual Subspace Removal（PRSR），通过多语言平行句构造配对残差、估计逐层低秩子空间并抑制末 token 隐状态中的语言特定成分，将 LLM 表示导向更语言无关的语义空间。
正文 · AI 翻译
摘要：虽然直接从冻结的 LLM 中导出文本嵌入已成为一个有前景的方向，但现有方法几乎只关注英语，多语言场景在很大程度上仍未被探索。在本工作中，我们首次对 LLM 中的多语言免训练文本嵌入进行了系统研究。我们的分析揭示了一种语言条件化的嵌入几何结构，其中语义等价的句子在不同语言之间仍然未对齐。我们假设可以将语言特定的变异与语义内容解耦，从而提升嵌入质量。为此，我们提出配对残差子空间移除（Paired-Residual Subspace Removal，PRSR），这是一种免训练的推理时干预方法，可将 LLM 表示引导至更具语言不变性的语义空间。PRSR 首先从多语言平行句中构建配对残差，以捕获语言特定的偏差。然后从这些残差中估计逐层的低秩子空间，并抑制最后一个 token 隐藏状态中的相应分量。我们使用 MTEB 和 MMTEB 在 18 种语言上进行了 200 多项单语评估，并开展了英语与 200 多种其他语言之间的跨语言双文本挖掘。实证结果表明，PRSR 在不同 LLM 的单语和跨语言设置中均能持续提升现有免训练基线的性能。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23807 [cs.CL] |
| （或本版本的 arXiv:2610.23807v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.23807 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ailiang Lin [查看邮箱]
[v1]
2026年10月16日星期五 17:30:43 UTC（4,295 KB）
来源：arXiv cs.CL · arxiv.org