跳到正文
arXiv cs.AI· Lingyu Jiang, Zirui Li, Lingyu Xu, Shuo Xing, Peiran Li, Tsubasa Takahashi, Dengzhe Hou, Zhengzhong Tu, Kazunori Yamada, Fangzhou Lin·· 2 天前AI 评分22

PathCal:面向高效推理的状态感知反思标记校准方法

PathCal: State-Aware Reflection-Marker Calibration for Efficient Reasoning

AI 导读

PathCal 是一种免训练控制器,通过延续、修正与替代开启三类反思标记的瞬时竞争,动态调整固定延续偏置的强度,且无需额外前向传播。实验显示,PathCal 在多种数学推理场景中改善了准确率与长度的权衡,并在代码与多语言数学任务中缩短了生成长度。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型推理语言模型(LRMs)通过测试时扩展来处理复杂任务,在推理过程中生成长篇思维链(CoT)轨迹。这些轨迹包含诸如 wait、but 和 alternatively 之类的反思标记,并伴随犹豫、修正和替代探索。近期的测试时控制方法利用这些标记来引导推理,但将它们视为一个粗粒度类别可能会掩盖它们各自不同的干预效果。我们研究了标记身份和推理上下文如何塑造这些效果。按类型抑制会产生不同的准确率—长度权衡,而固定前缀干预表明,继续和修正的相对收益因前缀和任务而异。受这些发现启发,我们提出了 PathCal,这是一种免训练的控制器,它利用继续、修正和替代开启标记之间的瞬时竞争来调整固定继续偏置的强度。它应用有限的 logit 调整,无需额外的模型前向传播。精确的对数几率恒等式和冻结前缀探针确立了其局部方向性效应。实验表明,PathCal 在许多数学推理设置中改善了准确率—长度权衡,并且在编程和多语言数学中也缩短了生成长度。
评论: 21 页,5 幅图,24 张表
主题: 人工智能(cs.AI)
引用为: arXiv:2605.23074 [cs.AI]
  (或使用 arXiv:2605.23074v2 [cs.AI] 查看此版本)
  https://doi.org/10.48550/arXiv.2605.23074

arXiv 颁发的 DOI,通过 DataCite

提交历史

来自:Fangzhou Lin [查看邮箱]
[v1] 2026年5月21日星期四 22:13:20 UTC(304 KB)
[v2] 2026年10月13日星期二 21:59:55 UTC(278 KB)

来源:arXiv cs.AI · arxiv.org