arXiv cs.CL· Chengguang Gan, Yunhao Liang, Hanjun Wei, Qinghao Zhang, Zhixi Cai, Shiwen Ni·· 3 天前AI 评分31
为什么还要生成点击？面向 Web 智能体的插件式决策头
Why Generate a Click? Plug-in Decision Heads for Web Agents
AI 导读
研究者提出插件式决策头，直接从冻结的视觉语言模型生成器隐藏状态中读取动作类型、目标元素和文本选项，无需生成 click(12) 这类文本。在 Qwen3-VL 4B 与 8B 上基于 213k 网页步骤训练后，置信级联在七个离线测试集上与生成器差距在 -0.3 至 +1.4 分之间，决策头承担 12% 至 64% 的步骤。
正文 · AI 翻译
摘要：基于视觉语言模型构建的 Web 智能体通过生成诸如 click(12) 之类的文本来决定每一个动作，尽管这些文本大多只是在少数几种动作类型和几十个标记元素之间进行选择。我们直接从生成器在读取目标和截图时计算出的隐藏状态中读取这些选择。冻结生成器上的即插即用决策头预测动作类型，对每个编号框内的视觉 token 进行池化以选择目标，并指向列出的文本选项或指向一个 WRITE 槽位，将新文本的书写留给生成器。置信度级联在决策头确信时执行其动作，否则让生成器从同一次前向传播的 KV 缓存中解码。使用在 213k 个 Web 步骤上训练的 Qwen3-VL 4B 和 8B 生成器，严格阈值使级联在七个离线测试集上比生成器低 0.3 个百分点到高 1.4 个百分点之间，同时决策头决定 12% 到 64% 的步骤。较宽松的阈值使未见过的 Mind2Web 网站上的步骤成功率分别提高 3.1 和 1.8 个百分点，在 GUIAct 和 MiniWoB++ 上最多损失 2 个百分点，并将 WebArena 任务成功率从 12.5% 提升到 13.8%（4B）以及从 13.6% 提升到 14.6%（8B），同时生成的 token 不到一半。将决策头与生成器联合训练会使生成器自身的步骤成功率最多降低 4.9 个百分点；在冻结生成器上使用决策头可避免这一代价。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20107 [cs.CL] |
| （或 arXiv:2610.20107v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20107 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Chengguang Gan [查看电子邮件]
[v1]
2026年10月14日星期三 12:39:51 UTC（479 KB）
来源：arXiv cs.CL · arxiv.org