跳到正文
arXiv cs.AI· Ilia Karpov, Andrey Atamanyuk, Dmitry Ilvovsky, Aleksandr Anokhin, Alex Elizov, Dmitry Zagorulkin, Sergei O. Kuznetsov·· 10 小时前AI 评分31

用结构化表示建模 LLM 推理动态

Modeling LLM Reasoning Dynamics with Structural Representations

AI 导读

研究提出 T/E/S 结构化表示,将语言模型推理拆解为文本、局部事件与活动跨度,在推理与信息检索任务中,事件与跨度使 Transformer 的下一结果预测在 76 个评估组中 70 组得到改善,Qwen 配合 LoRA 则为 74 组。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:语言模型推理在持续活动与局部操作之间交替进行。我们研究这种时间结构如何预测后续内容以及分析它所需的计算。T/E/S 结合了文本、局部事件和活动跨度。在推理与信息检索任务中,对于 Transformer,事件和跨度在 76 个评估组中的 70 个里改善了下一结果预测;对于使用 LoRA 的 Qwen,则在 76 个评估组中的 74 个里改善了预测。跨度持续时间和先前事件与状态转换相关,跨跨度边界保留事件历史可改善预测。我们提出了预算分配计数和动作条件式后续查询,证明了显式编码下的计数困难性,并推导出可负担决策认证的条件。在有限过程实验中,抵消共享后续质量的边界能够恢复与完整动态规划相同的最优动作,同时将平均推理 CPU 时间减少 77.7%。在 71 个留出的 HotpotQA 和 MuSiQue 问题上,一个紧凑的结构观察器改善了对固定推理过程是否在 CPU 允许时间内完成的预测:Brier 损失从 0.0836 降至 0.0756。标注审计发现该观察器存在大量错误,从而将这一计算结果与其特征的语义验证区分开来。
评论: 8 页,ACM Web Conference (WWW '27) 格式
主题: 人工智能 (cs.AI)
引用为: arXiv:2611.23749 [cs.AI]
  (或 arXiv:2611.23749v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23749

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Ilia Karpov [查看电子邮件]
[v1] 2026年11月18日星期三 03:02:29 UTC(57 KB)

来源:arXiv cs.AI · arxiv.org