arXiv cs.CL· Kung-Hsiang Huang, Haoyi Qiu, Yutong Dai, Caiming Xiong, Chien-Sheng Wu·· 9 天前AI 评分24
GUI-KV：面向 GUI 智能体的时空感知 KV 缓存压缩方法
GUI-KV: Efficient GUI Agents via KV Cache with Spatio-Temporal Awareness
AI 导读
GUI-KV 是一种免重训练的即插即用 KV 缓存压缩方法，通过空间显著性引导与时间冗余评分两项技术，在标准 GUI 智能体基准上以较小缓存预算接近全缓存精度。在 AgentNetBench 的 5 张截图设置下，GUI-KV 相比全缓存基线将解码 FLOPs 降低 38.9%，同时步准确率提升 4.1%。
正文 · AI 翻译
摘要：基于视觉语言模型构建的图形用户界面（GUI）智能体已成为自动化人机工作流程的一种有前景的方法。然而，它们也面临效率挑战，因为它们需要处理长序列的高分辨率截图并解决长时程任务，导致推理缓慢、成本高昂且受内存限制。虽然键值（KV）缓存可以缓解这一问题，但存储完整缓存对于图像密集型上下文而言是不可行的。现有的缓存压缩方法并非最优，因为它们没有考虑 GUI 的空间和时间冗余。在这项工作中，我们首先分析了 GUI 智能体工作负载中的注意力模式，发现与自然图像不同，注意力稀疏性在所有 transformer 层中均匀地高。这一洞见促成了一个简单的均匀预算分配策略，我们通过实验表明其优于更复杂的逐层变化方案。在此基础上，我们提出了 GUI-KV，一种即插即用、无需重新训练的 GUI 智能体 KV 缓存压缩方法。GUI-KV 结合了两项新技术：（i）空间显著性引导，通过将隐藏状态的 L2 范数与注意力分数相结合，以更好地保留语义重要的视觉 token；（ii）时间冗余评分，将先前帧的键投影到当前帧的键子空间，以优先剪除冗余历史。在标准 GUI 智能体基准和模型上，GUI-KV 优于有竞争力的 KV 压缩基线，在适度预算下与完整缓存准确率接近。值得注意的是，在 AgentNetBench 基准的 5 张截图设置中，GUI-KV 相比完整缓存基线将解码 FLOPs 降低了 38.9%，同时将步骤准确率提高了 4.1%。这些结果表明，利用 GUI 特有的冗余可以实现高效且可靠的智能体性能。
| 评论： | 被 TMLR 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2510.00536 [cs.CL] |
| （或 arXiv:2510.00536v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2510.00536 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kung-Hsiang Huang [查看电子邮件]
[v1]
2025年10月1日星期三 05:37:54 UTC（3,857 KB）
[v2]
2026年10月7日星期三 23:23:10 UTC（3,060 KB）
来源：arXiv cs.CL · arxiv.org