arXiv cs.CL· Jiapu Wang·· 11 小时前AI 评分26
TEPCA:面向时序知识图谱 LLM 推理的证据-参数协同对齐框架
Temporal Evidence-Parameter Co-Alignment for LLM Reasoning over Temporal Knowledge Graphs
AI 导读
研究者提出 TEPCA 框架,在证据与参数两个层面将 LLM 推理与时序知识对齐。证据层用时间约束的动态相关性引导路径(DRGP)剪枝与互信息剪枝保留时序连贯路径,参数层引入时间戳条件化的 Dynamic-Gated LoRA(DG-LoRA)动态调整低秩适配子空间。在两个 TKG 基准上取得 SOTA,DG-LoRA 在八个常识 QA 数据集上验证了输入自适应能力与跨 LLM 主干的可扩展性。
正文 · AI 翻译
摘要:大型语言模型(LLM)常常难以进行基于时间的推理,因为其静态参数化记忆与现实世界知识的动态演化不一致。尽管 RAG 和参数高效微调(PEFT)提供了增强 LLM 的实用方法,但它们在时间推理方面仍然不足。现有检索方法通常优先考虑语义相关性,而忽视时间有效性、事件顺序和演化依赖关系,导致证据孤立地看是相关的,但在时间上是碎片化的。同时,传统 PEFT 方法通常采用固定的、与输入无关的低秩更新,难以捕捉随时间变化的实体语义和关系漂移。为解决这些局限,我们提出了时间证据-参数协同对齐(TEPCA),一个用于在 TKG 上进行 LLM 推理的框架。TEPCA 在证据和参数两个层面将 LLM 推理与时间知识对齐。在证据层面,它引入了时间约束的动态相关性引导路径(DRGP)剪枝,以保留全局连贯的时间路径,并结合基于互信息(MI)的剪枝,在时间约束下保留对查询有信息量的局部事实。在参数层面,它集成了动态门控 LoRA(DG-LoRA),一种以时间戳为条件的低秩适应机制,根据时间上下文动态调节有效适应子空间。这一设计使 LLM 能够更好地捕捉细粒度实体演化和随时间变化的关系语义,同时保持参数效率。在两个 TKG 基准上的实验结果表明,TEPCA 达到了最先进的性能。对 DG-LoRA 在八个常识问答数据集上的额外评估进一步验证了其通用的输入自适应能力、跨 LLM 骨干的可扩展性以及可解释性。
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2610.28176 [cs.CL] |
| (或 arXiv:2610.28176v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.28176 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Jiapu Wang [查看电子邮件]
[v1]
2026年10月20日星期二 13:16:17 UTC(3,792 KB)
来源:arXiv cs.CL · arxiv.org