arXiv cs.CL· Babak Barazandeh, Subhabrata Majumdar, George Michailidis·· 10 小时前AI 评分29
OTAP：用结构感知最优传输评估智能体轨迹中的规划与执行
OTAP: Structure-Aware Optimal Transport for Evaluating Planning and Execution in Agent Trajectories
AI 导读
研究者提出 OTAP（Optimal Transport for Agentic Planning），将智能体轨迹评估重构为执行图与有效解图集之间的距离，通过属性依赖图上的非平衡融合 Gromov-Wasserstein 传输问题实现，输出归一化差异分数。
正文 · AI 翻译
摘要：大型语言模型智能体通过生成交错进行规划、工具调用和中间结果的轨迹来求解任务。当前的评估指标将此类轨迹简化为二元成功标志、通过精确匹配与参考轨迹比较，或交由另一个语言模型进行评判。成功标志无法区分可靠方案与侥幸方案，也无法解释运行失败的原因。精确匹配会惩罚以不同顺序或不同分解方式呈现的有效计划。我们将轨迹评估重新表述为智能体执行图与一组有效解图之间的距离，并通过在属性依赖图上求解非平衡融合 Gromov-Wasserstein 传输问题来实例化该距离。所得分数称为 OTAP（面向智能体规划的最优传输），是一种归一化差异分数。其理想化的、全局最小化的无熵目标对固定图的保依赖重标记具有不变性，并在给定假设下具有冗余插入敏感性分析。其非平衡边缘分布可处理缺失或幻觉步骤而无需强制匹配；粒度不变性仍是一个开放问题，软耦合只能部分缓解。在受控扰动和三个公开基准上，OTAP 在仅语义指标得分低于随机水平的条件下仍能区分有效轨迹与无效轨迹。其在这些设置下的表现令人鼓舞，而受控边噪声实验揭示了其对依赖提取的敏感性。在存在形式化验证器的情况下，严格的表层指标比 OTAP 更能预测有效性，这使 OTAP 适用于没有验证器的开放式领域。一项针对 236 条轨迹的盲测研究发现，在六种比较指标中，OTAP 与人工判断的一致性最强。结构感知基线在干净图上取得更高的 AUROC，而在所测试的边噪声下，OTAP 的 AUROC 绝对下降幅度最小。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2607.17082 [cs.AI] |
| （或 arXiv:2607.17082v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.17082 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Babak Barazandeh [查看邮箱]
[v1]
2026年7月19日星期日 05:23:17 UTC（46 KB）
[v2]
2026年8月1日星期六 14:51:11 UTC（37 KB）
[v3]
2026年11月3日星期二 21:06:41 UTC（44 KB）
来源：arXiv cs.CL · arxiv.org