arXiv cs.CL· Jiayi He, Jungsoo Park, Wei Xu, Alan Ritter·· 11 小时前AI 评分31
SOLAR：用软 Token 对齐提升多语言大模型跨语言推理一致性
Soft Token Alignment for Cross-Lingual Reasoning
AI 导读
研究者提出 SOLAR，一种以英语为枢轴的监督微调辅助目标，通过对齐跨语言的软 Token 表示来缓解多语言推理不一致。软 Token 是词表嵌入的概率加权混合，可聚合不同语言中语义相关 Token 的信息。在四个多语言推理基准上，SOLAR 相比基座模型最高提升 17.7 分，相比标准监督微调提升 3.8 分，低资源语言增益最大。
正文 · AI 翻译
摘要：多语言大语言模型对于不同语言中语义等价的提示，往往会产生不一致的推理和答案。先前的工作表明，中间表示可以相对与语言无关，但随着模型确定离散输出 token，生成会变得越来越与特定语言相关。这是有问题的，因为特定语言的词汇选择可能导致语义等价的推理路径在不同语言之间出现分歧。这些分歧促使我们寻找一种与任何单一词汇项或文字系统关联较弱的跨语言对齐信号。我们提出 SOLAR，一种用于监督微调的辅助目标，它以英语为枢轴，跨语言对齐软 token 表示。软 token 是词汇表嵌入上的概率加权混合，产生连续表示，能够聚合跨语言语义相关 token 的信息。然后，我们在共享嵌入空间中将每个非英语软 token 摘要与其英语对应项对齐。在四个多语言推理基准上，SOLAR 相比基础模型将准确率最多提升 +17.7 个点，相比标准监督微调提升 +3.8，在低资源语言上提升最大。SOLAR 还增强了最终层的跨语言相似性，并大幅降低了语言簇的可分离性，这表明对齐软 token 表示有助于在多语言推理过程中保留共享的语义结构。
| 评论： | 被 NeurIPS 2026 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2606.26466 [cs.CL] |
| （或此版本的 arXiv:2606.26466v2 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2606.26466 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jiayi He [查看电子邮件]
[v1]
2026年6月25日星期四 00:01:58 UTC（391 KB）
[v2]
2026年11月5日星期四 00:23:53 UTC（329 KB）
来源：arXiv cs.CL · arxiv.org