arXiv cs.AI· Jiatan Huang, Zheyuan Zhang, Ziming Li, Tianyi Ma, Mingchen Li, Yanfang Ye, Chuxu Zhang·· 6 天前AI 评分23
CLEAT：为交互式智能体学习价值引导的澄清机制
CLEAT: Learning Value-Guided Clarification for Interactive Agents
AI 导读
CLEAT 通过价值引导的智能体协同训练框架，让 LLM 智能体学会在信息不完整时提出有用问题并利用回答改进决策。该框架用配对 rollout 估计"残差查询价值"，协同训练澄清价值控制器与任务策略。
正文 · AI 翻译
摘要：LLM 智能体可以执行日益复杂的任务，但有效的协助还需要将其行动与用户可能未明确说明的目标和约束保持一致。我们将这一问题作为通过澄清实现的交互式意图对齐来研究。然而，只有当智能体能够将答案转化为更好的决策时，澄清才有用。由于训练会改变智能体处理不完整信息以及利用额外答案的方式，同样的澄清可能变得更有用或更没用。我们提出了 CLEAT（CLarification through valuE-guided Agent co-Training，通过价值引导的智能体协同训练实现澄清），这是一个从共享交互结果中协同训练澄清价值控制器和任务策略的框架。我们提出残差查询价值，用以衡量在当前策略下通过提问而非直接行动所获得的任务效用，并通过来自同一交互历史的成对 rollout 来估计它。这些成对回报训练控制器预测澄清价值，并训练任务策略选择有用的问题并根据答案行动。控制器指导后续的 rollout 收集，而更新后智能体的结果提供新的价值标签，使澄清指导能够随着智能体的学习而适应。在 Qwen3-4B 上，CLEAT 在四个基准的十个评估设置中均取得了最高平均分。相比最强基线，在 UserGym Travel 和 IN3 欠规范判断准确率上分别高出 13.2 和 6.5 个百分点。消融实验表明，即使在推理时移除控制器，协同训练也能改进任务策略，而让澄清指导适应不断演变的策略则带来进一步的收益。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.12655 [cs.AI] |
| （或 arXiv:2610.12655v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12655 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jiatan Huang [查看电子邮件]
[v1]
2026年10月8日星期四 19:22:21 UTC（572 KB）
来源：arXiv cs.AI · arxiv.org