arXiv cs.CL· Shaoang Li, Daniel R. Jiang, Jian Li·· 10 天前AI 评分27
TRACE：用约束树探索从语言反馈中学习
Constraint Tree Exploration for Learning from Language Feedback
AI 导读
针对交互学习中自然语言反馈常被误读、导致智能体错误排除有效方案的问题，研究者提出 TRACE 算法，将候选约束组织为树结构，通过生成满足约束的动作反复检验反馈是否矛盾，仅在无矛盾时才确认该约束。
正文 · AI 翻译
摘要：交互式学习中的自然语言反馈通常通过指出被违反的要求来解释某个动作失败的原因。误读这种反馈可能导致智能体排除有效的解决方案。我们通过将用户意图建模为动作空间上的潜在约束，并将从语言反馈中学习表述为在可行区域上的纯探索，来研究这一设定。我们提出 TRACE，一种将候选约束组织成树结构，并通过生成满足每个候选细化的动作来对其进行检验的算法。只有在重复测试中产生的反馈不与细化相矛盾时，TRACE 才会采纳该细化。我们区分了使用同一反馈的两种方式：(i) 证伪，即检测与当前正在测试的约束集相矛盾之处；(ii) 识别，即还可能指出某个被违反的约束。我们证明了 TRACE-Falsification 具有依赖于候选类大小 $H$ 的高概率覆盖界。在可靠识别的情况下，TRACE-Identification 可以将这一依赖替换为 $K/p_{\mathrm{ext}}$，其中 $K$ 是潜在约束的数量，$p_{\mathrm{ext}}$ 是从信息性反馈中提取出缺失真实约束的概率下界。我们在六个语言反馈任务上评估了 TRACE。在 RecMovie 上，在评估输出上限为 20 和 60 的情况下，TRACE-Identification 分别实现了 73% 和 86% 的最终输出成功率，而在相同反馈和输出上限下，所评估的提示基线最多为 42% 和 48%。受控的身份破坏实验进一步表明，当证伪检测器保持可靠时，其鲁棒性优于直接累积。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.09107 [cs.AI] |
| （或 arXiv:2610.09107v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09107 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Shaoang Li [查看电子邮件]
[v1]
2026年10月6日星期二 20:57:37 UTC（146 KB）
来源：arXiv cs.CL · arxiv.org