arXiv cs.CL· Rui Sun, Peizhao Mei, Xiewei Cheng, Kaizhuo Chen, Taoran Li, Zhiyuan Yu, Varun Chandrasekaran·· 12 小时前AI 评分31
同一答案，不同理由：多语言大模型的推理轨迹级分歧
Same Answer, Different Reasons: Trace-Level Divergence in Multilingual Large Language Models
AI 导读
研究提出轨迹级分歧框架，将多语言大模型的可见推理轨迹拆解为结构相似度、顺序一致性和整体相似度三项指标。在三个推理基准、七种语言和六个前沿 LLM 上，整体嵌入相似度会系统性高估一致性：整体相似度前 25% 的样本中，有 52.1%–67.3% 并不在结构相似度前 25%。双语盲标注显示人类判断更贴近结构相似度，且同语言对照表明分歧程度具有语言特异性。
正文 · AI 翻译
摘要：多语言大语言模型越来越多地部署在需要可见推理轨迹来支持验证、教育和安全审计的场景中，然而标准评估通常只衡量最终答案的一致性，或整体响应的相似度。因此，它们只确立了结果一致性，却无法判断不同语言的用户是否获得了可比的支持性证据。我们引入了一个轨迹级差异框架，将可见推理轨迹作为结构化序列进行比较，把一致性分解为结构相似度、顺序一致性和整体相似度，并通过针对具体配对的校准来实现跨语言比较。在三个推理基准、七种语言和六个前沿大语言模型上，自然基线——即对每个完整响应进行嵌入，并用余弦相似度比较两者——系统性地高估了一致性：在整体相似度处于最高四分位的示例中，有 $52.1\%$--$67.3\%$ 并不处于结构相似度的最高四分位。这种分离在句子编码器和步骤切分方式上保持稳定，并且在两个以英语为锚点的语言对中进行的盲法双语标注研究表明，人类判断与结构相似度一致，而非与整体基线一致。同语言对照表明，差异程度具有语言特异性：针对同一问题改述的两条英语轨迹，其一致性高于一条英语轨迹与其在其他语言中的对应轨迹。我们的结果表明，答案级和整体评估可能大幅高估多语言解释性产物的一致性，这促使我们采用轨迹级评估，以实现可靠的多语言部署。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29092 [cs.AI] |
| （或 arXiv:2610.29092v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29092 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Rui Sun [查看电子邮件]
[v1]
2026年10月21日星期三 02:35:06 UTC（2,378 KB）
来源：arXiv cs.CL · arxiv.org