arXiv cs.AI· Zhenzhen Ren, Xiaoqing Zhang, GuoBiao Li, Bowen Fang, Yanxi Wang, Xinpeng Zhang, Ke Han·· 14 小时前AI 评分22
StaR-TTA：面向 Agentic RL 轨迹偏移的无标签测试时置信度自适应
Test-Time Confidence Adaptation under RL-Induced Trajectory Shift
AI 导读
针对 Agentic RL 导致基于轨迹的 LLM 置信度估计器显著退化的问题，研究者提出 StaR-TTA 框架，利用“轨迹越稳定越可能答对”这一在 Base 与 RL 模型中均保留的可靠性结构，在测试时复用无标签 RL 轨迹的稳定性排序来调整置信度分数。
正文 · AI 翻译
摘要：基于轨迹的置信度估计通过利用大语言模型（LLM）推理过程中的丰富信号，已展现出良好的性能。然而，我们发现，此类置信度估计器在智能体强化学习（Agentic RL）之后会显著退化，因为该过程会导致推理轨迹发生大幅偏移。更重要的是，尽管存在这些偏移，我们揭示了一种在 Base 模型和 RL 模型之间基本得以保留的可靠性结构：$\textbf{更}$ $\textbf{稳定}$ $\textbf{的}$ $\textbf{轨迹}$ $\textbf{仍然}$ $\textbf{更}$ $\textbf{可能}$ $\textbf{产生}$ $\textbf{正确}$ $\textbf{的}$ $\textbf{答案}$。这种得以保留的关系为 RL 后的置信度自适应提供了一种可迁移、无需标签的可靠性信号。基于这一发现，我们提出了 $\textbf{StaR-TTA}$，一个以稳定性为指导、无需标签的测试时置信度自适应框架。StaR-TTA 在有标签的 Base 轨迹上同时从正确性监督和由稳定性导出的可靠性监督中学习，从而建立轨迹稳定性与答案可靠性之间的联系。在测试时，它复用来自无标签 RL 轨迹的、由稳定性诱导的可靠性排序，使置信度分数适应偏移后的轨迹分布，而无需目标正确性标签。在四个问答基准上，StaR-TTA 的平均 AUROC 达到 \(0.721\)，并在未见数据集、不同模型系列与规模以及不同 Agentic RL 算法上均取得一致提升。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.35500 [cs.AI] |
| （或 arXiv:2610.35500v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35500 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhenzhen Ren [查看电子邮件]
[v1]
2026年10月26日星期一 14:27:41 UTC（3,375 KB）
来源：arXiv cs.AI · arxiv.org