arXiv cs.AI· Cheng Fan, Junyi Zhou, Tingzhang Luo, RongJian Xu, Qiyanhui Lu, Mingjian Zhu, Hanting Chen, Jianyuan Guo·· 3 天前AI 评分31
阅读不等于推理：视觉-文本压缩中的智能体策略鸿沟与 CAPS 框架
Reading is not Reasoning: Bridging the Agentic Policy Gap in Vision-Text Compression
AI 导读
针对视觉-文本压缩导致智能体能力下降的问题，研究者提出两阶段跨模态智能体策略自蒸馏框架 CAPS，用同一模型更强的文本历史策略监督其视觉历史策略。在 SearchQA 上，CAPS 以 3B 和 7B 骨干分别比 AgentOCR 提升 5.0 和 3.4 个百分点；在完整历史 ALFWorld 上分别提升 15.6 和 14.5 个百分点。
正文 · AI 翻译
摘要：多步语言模型智能体反复处理不断增长的交互历史，导致大量上下文成本。视觉—文本压缩通过将历史渲染为图像来降低这些成本，但由此产生的模态转变造成了显著的能力差距。通过对历史恢复、匹配状态决策和完整轨迹的受控评估，我们表明这一差距不能仅用 OCR 质量来解释。视觉历史智能体在动作选择、查询构建、停止和证据使用方面表现出系统性漂移，揭示出一种智能体策略差距。我们提出 \textbf{CAPS}，一个两阶段\textbf{跨}模态\textbf{智}能体\textbf{策}略\textbf{自}蒸馏框架，利用同一模型更强的文本历史策略来监督其视觉历史对应策略。离线轨迹自蒸馏将成功的文本策略行为迁移到视觉历史输入，而在线策略自蒸馏在强化学习期间对视觉历史策略访问的状态提供密集监督。在 SearchQA 上，CAPS 在 3B 和 7B 骨干模型上分别比 AgentOCR 提升 5.0 和 3.4 个百分点。在完整历史 ALFWorld 上，相应提升为 15.6 和 14.5 个百分点。在各种设置下，与匹配的文本历史策略相比，CAPS 将平均内存上下文成本降低最多 63.3\%，峰值成本降低最多 83.4\%。这些结果表明，显式的跨模态策略自蒸馏可以在视觉—文本压缩下保持智能体能力。我们的代码将公开发布。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2608.08960 [cs.AI] |
| （或 arXiv:2608.08960v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.08960 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Cheng Fan [查看电子邮件]
[v1]
2026年8月9日星期日 23:38:12 UTC（3,101 KB）
[v2]
2026年10月10日星期六 20:40:34 UTC（4,991 KB）
来源：arXiv cs.AI · arxiv.org