arXiv cs.CL· Dongxu Wu, Sara Court, Micha Elsner·· 10 小时前AI 评分29
研究：LLM 翻译中如何处理词汇知识冲突？九款模型评测
Are These Programmers Ripe Enough to Eat? Evaluating How LLMs Handle Lexical Knowledge Conflicts in Translation
AI 导读
研究者构建受控的普通话到英语翻译任务，将熟悉源词赋予新含义，系统评估词频、句子上下文和提示词框架对九款 LLM 输出的影响。低频源词及支持所给含义的句子上下文会提高模型对上下文知识（CK）的依赖，九款模型中有七款即使被明确要求忽略所给含义仍偏向 CK。模型家族内较大模型更倾向使用 CK，后续实验显示情态弱化可降低 CK 依赖，重复效应取决于提示词布局，推理的影响因模型而异。
正文 · AI 翻译
摘要：外部词汇资源可以帮助大语言模型（LLM）翻译低资源语言和专业领域的文本，但这些资源可能与模型先前的词汇知识相冲突。为了分离这一冲突，我们构建了一个受控的普通话到英语翻译任务，其中熟悉的源词在语义类别内部和跨语义类别被赋予新的含义。我们将这些提示提供的含义视为上下文知识（CK），并系统地评估词频、句子上下文和提示框架对翻译输出的影响。在九个模型中，对于频率较低的源词以及在支持所提供含义的句子上下文中，对 CK 的依赖更大。提示框架可以减少对 CK 的依赖，但九个模型中有七个即使在明确指示忽略所提供含义的情况下仍偏好 CK。在模型家族内部，较大的模型比较小的模型更有可能在输出中利用 CK。三项后续实验进一步表明，情态弱化会降低对 CK 的依赖，重复的效果取决于提示布局，而推理的效果因模型而异。总体而言，我们的受控研究揭示了 CK 依赖如何随条件和模型而变化，这促使人们开发新方法来检测和评估词汇冲突，并在基于 LLM 的翻译中引导模型的词汇选择。
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.09785 [cs.CL] |
| （或 arXiv:2611.09785v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.09785 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Sara Court [查看电子邮件]
[v1]
2026年11月6日星期五 17:44:14 UTC（1,017 KB）
来源：arXiv cs.CL · arxiv.org