语义欺骗：推理模型为何算不出一道加法题

查看 PDF HTML（实验性）

摘要：大型语言模型（LLM）越来越多地被用于涉及人类价值的情境，例如需要像人类那样进行推理的决策任务。我们通过引入一个实验框架，测试 LLM 处理和操作不熟悉符号的能力，从而研究 LLM 在全新符号表示上的所谓推理能力。我们引入了语义欺骗：即符号因其形式而带有误导性语义关联的情境，例如被嵌入特定语境中，旨在探究 LLM 能否保持符号抽象，还是默认利用学到的语义关联。我们用全新符号重新定义标准数字和数学运算符，并让 LLM 解决用这种改变后的记法表达的简单计算。目标是：(1) 评估 LLM 对任意符号系统的抽象和操作能力；(2) 评估它们抵抗与任务符号逻辑相冲突的误导性语义线索的能力。通过对四个 LLM 的实验，我们表明语义线索会显著削弱推理模型在非常简单任务上的表现。这些结果揭示了当前 LLM 在符号操作能力上的局限，并凸显出其过度依赖表层语义的倾向，表明思维链可能会放大对统计相关性的依赖。即使在 LLM 似乎正确遵循指令的情境中，语义线索仍会影响基本能力。这些局限引发了伦理和社会关切，削弱了将推理能力归因于 LLM 的普遍且有害倾向，并提示 LLM 可能如何失败，尤其是在稳健符号推理至关重要、且不应被模型训练中继承的残余语义关联所损害的决策情境中。

提交历史

来自：Marceau Nahon [查看电子邮件]
[v1] 2025年12月23日 星期二 22:22:18 UTC（407 KB）
[v2] 2026年10月21日 星期三 18:53:21 UTC（318 KB）