arXiv cs.CL· Amirhossein Abaskohi, Yuhang He, Peter West, Giuseppe Carenini, Pranit Chawla, Vibhav Vineet·· 14 小时前AI 评分38
ReVision：通过时序视觉冗余削减扩展计算机使用智能体
ReVision: Scaling Computer-Use Agents via Temporal Visual Redundancy Reduction
AI 导读
ReVision 通过可学习的 patch 选择器比较连续截图的 patch 表示并去除冗余视觉 patch，在保留空间结构的前提下训练多模态语言模型。在 OSWorld、WebTailBench 和 AgentNetBench 三个基准上，用 Qwen2.5-VL-7B 处理含 5 张历史截图的轨迹时，token 用量平均减少 46%，成功率较不裁剪基线提升 3%。
正文 · AI 翻译
摘要：计算机使用智能体（CUA）依赖对图形用户界面的视觉观察，其中每张截图都会被编码为大量视觉 token。随着交互轨迹增长，token 成本迅速上升，在固定的上下文与计算预算下限制了可纳入的历史量。这导致与其他领域不同，使用历史时性能没有提升或提升非常有限。我们通过引入 ReVision 来解决这一低效问题：它用于在轨迹上训练多模态语言模型，其中冗余的视觉 patch 通过一个学习到的 patch 选择器被移除，该选择器比较连续截图之间的 patch 表示，同时保留模型所需的空间结构。在 OSWorld、WebTailBench 和 AgentNetBench 三个基准上，使用 Qwen2.5-VL-7B 处理包含 5 张历史截图的轨迹时，ReVision 平均减少 46% 的 token 使用量，同时相比不丢弃的基线提升 3% 的成功率。这确立了明确的效率收益，使智能体能够以更少的 token 处理更长的轨迹。借助这一效率提升，我们重新审视历史在 CUA 中的作用，并发现当冗余被移除后，随着纳入更多过往观察，性能会持续提升。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.11212 [cs.CL] |
| （或 arXiv:2605.11212v4 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.11212 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Amirhossein Abaskohi [查看邮箱]
[v1]
2026年5月11日星期一 20:27:54 UTC（6,757 KB）
[v2]
2026年5月13日星期三 16:34:05 UTC（6,757 KB）
[v3]
2026年6月5日星期五 22:18:46 UTC（6,753 KB）
[v4]
2026年10月25日星期日 06:06:01 UTC（6,754 KB）
来源：arXiv cs.CL · arxiv.org