arXiv cs.AI· Youxing LI·· 10 天前AI 评分32
PixelTriage：让多模态助手在打开图片前先决定哪些检索记忆值得用像素
Decide Before You Look: Learning Which Retrieved Memories Deserve Pixels
AI 导读
PixelTriage 是一个置于检索之后的小模型插件，不生成文本，只读取对话、简短笔记和每张检索记忆的缩略图，预测其像素能带来多少增益。
正文 · AI 翻译
摘要：多模态助手根据包含图像的长期记忆来回答问题。检索后，每张检索到的图像以像素形式到达回答模型，每张图像约一千个视觉 token，或以存储的文本代理形式到达，而后者往往遗漏问题所询问的细节。我们发现，像素的收益通常来自一两个检索到的记忆，并且可以在回答模型运行之前预测，而无需读取任何全分辨率图像。在 PixelTriage 中，一个置于检索之后的插件，一个不生成文本的小模型读取对话、简短说明和每个检索记忆的缩略图，并预测其像素会增加多少。它是在合成记忆片段上训练的，这些片段由冻结的 27B 模型标注，该模型在有和没有每个记忆像素的情况下回答每个问题。使用 7B 回答模型时，PixelTriage 位于 M$^3$Exam、DMV 和 MemEye 的准确率--成本前沿上，使用 11--23\% 的视觉 token，且准确率没有显著损失。在 DMV 上，它比打开所有图像快 2.9 倍。在相同预算下，它优于检索顺序和均匀降采样，并可迁移到其他记忆系统和 397B 回答模型。
| Subjects: | Computer Vision and Pattern Recognition (cs.CV); Artificial Intelligence (cs.AI) |
| Cite as: | arXiv:2610.07984 [cs.CV] |
| (or arXiv:2610.07984v1 [cs.CV] for this version) | |
| https://doi.org/10.48550/arXiv.2610.07984 arXiv-issued DOI via DataCite (pending registration) |
Submission history
From: Youxing Li Rick [view email]
[v1]
Tue, 6 Oct 2026 08:47:45 UTC (319 KB)
来源：arXiv cs.AI · arxiv.org