arXiv cs.CL· Zhuchenyang Liu, Yao Zhang, Yu Xiao·· 10 天前AI 评分36
多向量视觉文档索引可被逆向还原为原始页面
Inverting Multi-Vector Visual Document Indices
AI 导读
多向量视觉文档检索器将每页存为约一千个 patch 向量，研究者提出逆向攻击，仅凭存储的索引即可重建页面图像。在 ViDoRe v3 上，从原始索引还原的页面可恢复 47% 的单词和 45% 的敏感 token，作为查询时 98.4% 的情况下将源页面排在第一。
正文 · AI 翻译
摘要：主流的多向量视觉文档检索器将每一页存储为约一千个 patch 向量，通常存放在由第三方运营的向量数据库中。由于没有人能从向量中读出一页内容，这种索引很容易被视为比页面本身敏感度更低。然而，由于索引按光栅顺序为每个 patch 保留一个向量，且每个向量都由一个预训练用于阅读文档的视觉语言模型计算得出，我们假设运行或入侵该存储的人仅凭索引就能重建页面。我们将反演建模为条件文档图像生成，并从向量中推断出攻击所需的信息：编码器、页面形状，以及对于打乱顺序的向量而言，它们的顺序。在 ViDoRe v3 基准上，从原始索引反演出的页面恢复了 47% 的单词和 45% 的敏感 token。将它们作为查询与存储的索引进行匹配时，98.4% 的情况下其源页面排名第一。我们测试了两种低成本防护措施——token 池化和打乱，二者都将单词召回率降至约 8%。一个能恢复打乱索引顺序的模型将源页面排名第一的比例从 3.8% 提升至 93.5%，而反演池化索引的问题仍未解决。为测试泛化性，我们将同一攻击原封不动地应用于另一个多向量检索器：其反演页面仍有 70.2% 的情况下将源页面排名第一，尽管其单词召回率仍低于最近邻基线。因此，多向量视觉文档检索器容易通过其存储的索引被反演，该索引应像其所编码的文档一样受到保护。
| 评论： | 30 页。审稿中 |
| 主题： | 信息检索（cs.IR）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.09920 [cs.IR] |
| （或 arXiv:2610.09920v1 [cs.IR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09920 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Zhuchenyang Liu [查看邮箱]
[v1]
2026 年 10 月 7 日星期三 12:10:11 UTC（16,687 KB）
来源：arXiv cs.CL · arxiv.org