arXiv cs.CL· Auss Abbood, Fernando Mart\'inez-Plumed, Jos\'e Hern\'andez-Orallo, Nigel Collier·· 12 小时前AI 评分34
研究质疑 LLM 时间推理的“算术-语义”二分法：知识才是主要驱动力
Keeping Time vs. Understanding Time: Neither Alone Explains Temporal Reasoning in LLMs
AI 导读
一项研究直接检验了 LLM 时间推理分为时间算术与时间语义两类的假设，发现按此二分微调后增益主要是数据集特定的（+6.8 至 +23.1 个百分点），同模态跨数据集迁移仅 -3.2 至 +1.1 个百分点。基于认知需求的模型评估显示，定量与逻辑推理并非这些基准表现的主要驱动力，知识才是。这表明当前时间推理基准并未清晰实现算术-语义区分，更多是在奖励模型记住时间通常如何运作。
正文 · AI 翻译
摘要：时间推理被广泛认为可分解为两种模式：时间算术（日期和时间计算）与时间语义（理解时间与因果关系）。这种二分法影响着基准的设计方式、模型的训练方式以及进展的衡量方式，但其经验有效性从未被直接检验。我们提供两条证据来质疑它。首先，我们检验基准中标记为算术或语义的任务是否在其所属模式内带来可迁移的提升。在这些子集上微调主要带来数据集特定的增益（$+6.8$ 至 $+23.1$ 个百分点），而迁移到同一模式下的不同数据集时，增益范围为 $-3.2$ 至 $+1.1$ 个百分点。在迁移分析所用的两个基准系列中，这一模式几乎不能证明存在连贯、可迁移的时间能力。其次，我们使用基于认知需求的模型评估，考察究竟是哪些能力真正驱动了这些基准上的表现。我们发现，定量推理和逻辑推理——被假定为时间算术和时间语义的代理指标——并非主要驱动因素；知识才是。综合来看，这些发现表明，当前的时间推理基准并未清晰地实现算术—语义的区分，而在很大程度上奖励模型记住时间通常如何运作。
| 评论： | 30 页，9 幅图，24 张表（含附录） |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.29507 [cs.CL] |
| （或 arXiv:2610.29507v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29507 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Auss Abbood [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 09:58:46 UTC（364 KB）
来源：arXiv cs.CL · arxiv.org