跳到正文
arXiv·· 12 天前AI 评分32

PixelTriage:在查看前决定哪些检索记忆值得用像素

Decide Before You Look: Learning Which Retrieved Memories Deserve Pixels

AI 导读

多模态助手从含图像的长期记忆中检索答案时,每张图以约一千个视觉 token 的像素形式送入模型代价高昂。PixelTriage 作为检索后的插件,用一个小模型在不读取任何全分辨率图像的情况下,提前预测哪些检索记忆值得用像素。研究发现像素带来的收益通常只来自一两张检索记忆。

来源:arXiv · arxiv.org