arXiv cs.AI· Siqi Xiang, Zhipeng Xu, Shengrui Liu, Zulong Chen, Chunyan Miao, Shijian Lu·· 10 小时前AI 评分38
把分辨率当注意力:RAA 让 LLM 智能体记忆感知更省 token
Resolution as Attention for Efficient Agent Memory Perception
AI 导读
研究者提出 Resolution as Attention(RAA)记忆感知机制,将历史交互渲染为图像,并按与下一步决策的相关性动态调整分辨率,把视觉分辨率当作注意力分配手段。实验显示 RAA 在多个任务和骨干模型上将 token 消耗降低 50% 以上且不损害任务表现,还可作为插件感知层与现有记忆管理方法结合。
正文 · AI 翻译
摘要:基于 LLM 的智能体在解决复杂、长程任务时会积累大量交互历史,因此高效的内存管理对其性能和可扩展性至关重要。现有内存管理方法主要关注保留或检索什么,却往往忽略了应为单个过往交互分配多少感知细节。我们假设,有效的智能体内存不仅取决于所保留的信息,还取决于对每个过往交互的感知粒度。受此启发,我们提出分辨率即注意力(Resolution as Attention,RAA),一种以视觉分辨率作为交互历史注意力分配手段的内存感知机制。RAA 将过往交互渲染为图像,并在每一步根据其与智能体即将做出的决策的相关性动态调整分辨率,为关键交互保留细粒度信息,同时减少对较不相关交互的视觉 token 消耗。为自适应地确定每个交互的感知保真度,我们训练了一个由教师模型引导的轻量级相关性估计器,并进一步优化它,以在降低视觉 token 成本的同时保持智能体的决策一致性。在多个任务和骨干模型上的实验表明,RAA 在不影响任务性能的情况下将 token 消耗降低 50% 以上。此外,RAA 可作为插件式感知层与现有内存管理方法集成,进一步节省 token,并揭示自适应感知是智能体内存的一个互补维度。
| 主题: | 人工智能(cs.AI);计算机视觉与模式识别(cs.CV) |
| 引用为: | arXiv:2611.24422 [cs.AI] |
| (或 arXiv:2611.24422v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24422 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Siqi Xiang [查看电子邮件]
[v1]
2026年11月18日星期三 13:43:16 UTC(950 KB)
来源:arXiv cs.AI · arxiv.org