arXiv cs.AI· Ziming Li, Jiatan Huang, Xiaoguang Guo, Guiling Wang, Chuxu Zhang·· 14 小时前AI 评分34
DIAL：面向 LLM 智能体的方向感知自适应学习门控
Same Signal, Opposite Meaning: Direction-Informed Adaptive Learning for LLM Agents
AI 导读
针对 LLM 智能体测试时计算的自适应门控，研究提出 DIAL（Direction-Informed Adaptive Learning），通过信号无关的反事实探索训练稀疏门控，按（环境、骨干模型）学习状态特征的效用方向。
正文 · AI 翻译
摘要：面向 LLM 智能体的自适应测试时计算旨在仅在能够提升性能时调用额外计算。现有方法通常使用基于置信度、不确定性或难度的门控，并假设从门控信号经计算需求到计算价值的固定方向。这使得门控成为一个效用校准问题：门控信号应当与额外计算能否在基础策略之上改善最终结果相一致。我们表明这种一致性并不稳定：同一信号在一种设定下预测 rollout 有益，在另一种设定下却预测 rollout 有害，即使任务固定，也会在不同环境和骨干模型之间出现方向反转。因此，方向错误的门控可能通过精确选择有害状态而降低性能。这种反转反映了计算需求与计算适宜性之间更深层的区别：高不确定性信号可能表示决策困难的状态，此时 rollout 有助于比较备选方案；也可能表示不适合干预的状态，此时当前上下文无法支持有用的基于 rollout 的改进。在这一双源模型下，固定方向的门控在异构设定中并不可靠。为解决这一问题，我们提出 DIAL（Direction-Informed Adaptive Learning），一种稀疏门控，通过信号无关的反事实探索训练，以学习每个（环境、骨干模型）组合下状态特征的效用方向。在六个环境和三个骨干模型上，DIAL 取得了比固定方向基线更强的整体成功-成本权衡。我们的代码已在 此 https URL 开源。
| 评论： | Agent、测试时学习，已被 NeuIPS 2026 接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.06908 [cs.LG] |
| （或 arXiv:2605.06908v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.06908 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ziming Li [查看邮箱]
[v1]
2026 年 5 月 7 日星期四 20:15:51 UTC（522 KB）
[v2]
2026 年 10 月 25 日星期日 16:16:38 UTC（539 KB）
来源：arXiv cs.AI · arxiv.org