arXiv cs.CL· Zhitong Chen, Weifeng Zhang, Kai Yin, Zhiyuan Wang, Ali Mostafavi, James Caverlee·· 10 小时前AI 评分31
从表面搜索增益到选择失败：审计结构化工作流规划中的测试时推理
From Apparent Search Gains to Selection Failures: Auditing Test-Time Inference in Structured Workflow Planning
AI 导读
研究在 DisasterBench 上把测试时推理拆成发现、结构验证与最终选择三阶段，发现名义上的树搜索配置实际只是非自适应的完整工作流采样，用其扩展提示词的独立采样即可复现候选发现而无需建树。多数投票在每个候选池中会让 10-19% 任务已发现的正确工作流未被选中，抽查 60 例中 57 例确有工具选择或信息流错误。工具规格感知的验证器能挽回部分损失，但推翻的正确决策多于修正的。
正文 · AI 翻译
摘要：测试时搜索可以改进结构化规划，但当方法在提示、后处理和选择上各不相同，观测到的增益应归因于什么并不清楚。我们在 DisasterBench 上研究这一问题，该基准中模型组合带类型的多工具工作流，我们将推理分解为三个可观测阶段：是否发现正确的工作流、它是否通过结构验证、以及它是否最终被选中。在两个模型家族上，在受控推理预算下比较独立采样、名义树搜索配置和多算子搜索，我们发现：(i) 名义树搜索配置实现的是非自适应完整工作流采样，而使用其扩展提示的独立采样在不构建树的情况下复现了其候选发现；(ii) 在我们评估的候选池中，结构验证从未移除最后一个正确工作流，而多数投票在每个候选池中有 10-19% 的任务使已发现的正确工作流未被选中，审计确认在 60 个检查案例中有 57 个存在实质性的工具选择或信息流错误；(iii) 一个工具规范感知的验证器恢复了部分此类损失，但推翻的正确决策多于其修正的决策。我们的结果促使人们审计实际实现的而非名义上的推理流水线，并分别报告发现、有效性和选择。
| 评论： | 37 页。代码和可复现性工件：此 https URL |
| 主题： | 计算与语言 (cs.CL) |
| 引用为： | arXiv:2611.00579 [cs.CL] |
| （或 arXiv:2611.00579v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00579 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhitong Chen [查看电子邮件]
[v1]
2026 年 10 月 31 日星期六 03:10:12 UTC（625 KB）
来源：arXiv cs.CL · arxiv.org