跳到正文
arXiv cs.AI· Hanqi Mao, Jiajun Fan, Ruihan Guo, Shuaike Shen, Ziwen Wang, Hui Ren, Xianrui Zhong, Ge Liu·· 10 小时前AI 评分38

Vanguard:视觉语言智能体推测执行中如何判断草稿可信

Vanguard: Knowing When to Trust the Draft in Speculative Vision-Language Agents

AI 导读

Vanguard 是一个免训练的判断器,在视觉语言智能体的步骤级推测执行中结合截图评估小模型草稿是否正确,通过阈值决定保留草稿还是交由大模型重写。在 web、移动与具身智能体任务上,2B 草稿经 Vanguard 判断后准确率不低于 8B 目标模型,在 Mind2Web 和 EB-ALFRED 上显著更高,且目标模型只负责少数步骤。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:浏览网站、操作手机和在家中行动的视觉语言智能体在每次行动前都要进行推理,因此每一步都要等待一个大模型,这种延迟和成本阻碍了部署。步骤级推测让小模型起草每一步,只在草稿被拒绝时调用大模型,但其结果取决于评判器,而仅读取步骤文本的评判器无法判断该步骤是否适合其所作用的屏幕。我们发现,小模型的少量样本中包含正确步骤的频率与大模型正确完成该步骤的频率大致相当,且并不总是在相同的步骤上:对照屏幕检查后,小模型草稿不仅更便宜,而且可能更好。我们提出 Vanguard,一种无需训练的评判器,保持草稿模型和目标模型不变:一个通用决策模型在查看屏幕截图的情况下,通过一次前向传播为每个候选步骤给出正确的概率;如果最佳候选超过阈值则保留,否则由大模型撰写该步骤。在网页、移动和具身智能体上,由 Vanguard 评判的 2B 草稿至少与其 8B 目标模型一样准确,并在 Mind2Web 和 EB-ALFRED 上显著更准确,而目标模型只撰写少数步骤;它完成更多的闭环回合,并且在使用来自另一家族的 27B 目标模型时,它既更快又更准确。Vanguard 是我们在智能体任务上比较的最准确的评判器;它在网页和移动任务上依赖屏幕截图,其校准后的阈值可迁移到未见过的网站,并且跨模型家族时,其相对于目标模型的增益随着草稿的 pass@4 相对于目标模型准确率的提高而增长。Vanguard 可与 token 级推测解码组合,并在数学上匹配训练过的过程奖励模型,将推测从一种节省大模型工作量的方法转变为一种可以改进大模型的方法。
主题: 人工智能(cs.AI)
引用为: arXiv:2611.23917 [cs.AI]
  (或此版本的 arXiv:2611.23917v1 [cs.AI])
  https://doi.org/10.48550/arXiv.2611.23917

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Hanqi Mao [查看电子邮件]
[v1] 2026年11月18日星期三 06:09:08 UTC(11,821 KB)

来源:arXiv cs.AI · arxiv.org