arXiv cs.CL· Hanwen Li, Jinhao Duan, Guanhua Zhu, Junchi Lu, Bo Shen, Chenxi Yuan, Kaidi Xu·· 10 天前AI 评分27
从不确定性到行动：学习引导 LLM 智能体
From Uncertainty to Action: Learning to Steer LLM Agents
AI 导读
研究提出 VoS（Value of Steering），一种轨迹级监控器，可从约 82,000 条反事实延续构成的逐步结果表（SOT）中学习每步引导价值，并用带伤害预算的触发器决定是否引导。VoS 在全部 12 种基准、智能体及离线或在线设置下平均提升 7.8 分，并在 11 种设置中平均超出五种现有不确定性触发方法中最强者 2.9 分。消融实验显示，基于实测结果训练与严格伤害预算是其关键。
正文 · AI 翻译
摘要：引导 LLM 智能体意味着决定是否纠正它、在哪个步骤纠正以及用哪种机制纠正。不确定性常被用来决定何时纠正智能体，但它能否指导这些决策仍不清楚。我们在每个非终止步骤分别用四种机制引导智能体轨迹，并将每个延续运行至完成。由此得到的逐步结果表（SOT）包含来自三个基准和两个智能体的 1,864 条轨迹的约 82,000 个反事实延续。它表明，不确定性可以识别失败的轨迹，但没有任何单一信号能可靠地定位引导有帮助的步骤。因此我们提出 VoS（Value of Steering，引导价值），一种轨迹级监控器，可离线或在线运行，从 SOT 中学习每个步骤的引导价值，并据此决定在哪里引导。一个带伤害预算的触发器决定是否引导，限制 VoS 干扰的成功轨迹比例。VoS 在基准、智能体以及离线或在线使用的全部 12 种设置中均优于未修改的执行，平均提升 7.8 分，并在其中 11 种设置中优于五种现有不确定性触发方法中最强的一种，平均提升 2.9 分。消融实验表明，基于实测结果进行训练和严格的伤害预算二者都必不可少。
| 评论： | 22 页，9 幅图，9 张表 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.09115 [cs.AI] |
| （或 arXiv:2610.09115v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09115 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hanwen Li [查看电子邮件]
[v1]
2026 年 10 月 6 日星期二 21:05:50 UTC（466 KB）
来源：arXiv cs.CL · arxiv.org