arXiv cs.AI· Jiakang Li, Guanyu Zhu, Can Jin, Chenxi Huang, Dexu Yu, Ronghao Chen, Yang Zhou, Hongwu Peng, Xuanqi Lan, Dimitris N. Metaxas, Youhua Li·· 6 天前AI 评分24
Latent Reward Steering：一种在推理 LLM 中隐式促进认知行为的自适应推理时框架
Latent Reward Steering: An Adaptive Inference-Time Framework that Implicitly Promotes Cognitive Behaviors in Reasoning LLMs
AI 导读
研究者提出 Latent Reward Steering（LRS），一种自适应推理时框架，通过优化隐式承载认知行为的稀疏自编码器（SAE）隐状态来促进推理 LLM 的认知行为。
正文 · AI 翻译
作者：Jiakang Li、Guanyu Zhu、Can Jin、Chenxi Huang、Dexu Yu、Ronghao Chen、Yang Zhou、Hongwu Peng、Xuanqi Lan、Dimitris N. Metaxas、Youhua Li
摘要：强大的推理不仅取决于模型知识，还取决于生成过程中认知行为的部署效率。现有方法通常依赖显式的行为级控制，当失败和所需修正因推理状态、任务和模型而异时，这些方法适应性不足。为此，我们提出潜在奖励引导（Latent Reward Steering，LRS），一种自适应推理时框架，通过优化隐式承载认知行为的稀疏自编码器（SAE）潜在状态来促进认知行为。LRS 不依赖预定义的认知行为或由其导出的引导方向，而是在推理轨迹上训练潜在奖励模型，以最终答案正确性来估计中间潜在状态的质量。在推理过程中，奖励梯度为脆弱的潜在状态提供状态特定的修正方向，而奖励与置信度门控将干预限制在奖励信号标记为脆弱的状态上。在多个推理 LLM 主干和基准上的实验表明，\ours 在各种基线上持续提升性能，事后分析进一步表明 \ours 隐式促进了修复原始推理错误的有益认知行为。代码见：此 https URL。
| Comments: | 已被 EMNLP 2026 接收 |
| Subjects: | 人工智能（cs.AI） |
| 引用为： | arXiv:2606.00726 [cs.AI] |
| （或 arXiv:2606.00726v4 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2606.00726 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jiakang Li [查看邮箱]
[v1]
2026年5月30日 星期六 13:38:06 UTC（2,098 KB）
[v2]
2026年7月10日 星期五 01:15:34 UTC（2,098 KB）
[v3]
2026年8月21日 星期五 20:44:57 UTC（2,089 KB）
[v4]
2026年10月8日 星期四 20:53:09 UTC（2,090 KB）
来源：arXiv cs.AI · arxiv.org