注意力图曲率提升数学推理步骤验证

1. 12:00
   arXiv cs.CL

   注意力图曲率用于数学推理验证

   研究提出将语言模型注意力图的有向 Forman 曲率作为逐步验证数学推理正确性的信号，在 ProcessBench 上为四个逐步验证器追加曲率输入后，全部验证器的平均性能均有提升，其中以全部 token 为输入的 ReProbe 提升最大。代价是模型前向传播时间平均增加 18%。代码已公开。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。