arXiv cs.AI· Mohammad Zare, Pirooz Shamsinejadbabaki·· 9 天前AI 评分22
ProtoSemImage：用图像原型与可变形行对齐实现可解释文档分类
ProtoSemImage: Image-Valued Prototypes with Deformable Row Alignment for Interpretable Document Classification
AI 导读
ProtoSemImage 将分类原型从向量改为图像：每个类别由一个或多个四通道 HSV 空间的视觉原型表示，通道对应具名语言因素，分类转化为文档图像与原型库之间的可变形行对齐（类似动态时间规整）。
正文 · AI 翻译
摘要：分类模型中的原型几乎总是向量，而向量没有可读的形式。本文探讨当原型是一张图像时会发生什么。文档为这个问题提供了一种自然的形式，因为文档可以被渲染为多通道图像，其中每个 token 都变成一个像素，因此一个类别代表可以具有与其所代表的输入相同的形状和相同的通道语义。ProtoSemImage 用一个或多个视觉原型来表示每个类别：四通道 HSV 空间中的原型图像，其通道承载着命名的语言因素。Skip-Gram 目标通过一个四维瓶颈端到端地学习该颜色空间，话语边界行变为可微分的类型化差异行，分类简化为 2D 视觉模板匹配：文档图像与原型库之间的可变形行对齐，其精神类似于动态时间规整。由于匹配是空间模式比较而非线性读出，该模型能够报告输入在何处偏离其原型以及沿哪个通道偏离，并且一个生成头将每个原型解码回文本。图像表示是有效的：在全部三个配对种子上，它都击败了其他方面完全相同但使用向量原型的模型，在一个十类任务上高出 4.3 到 11.8 个百分点。基于距离的匹配则不然。一项保持表示固定、仅替换分类器的诊断恢复了序列基线，这将 20.6 个百分点的差距定位在匹配中而非颜色压缩中，而一个为让一对文档共享词袋且仅在排列上不同而构建的基准，证实了其设计所针对的布局保持能力。我们报告两个方向，因为对于一个其全部目的就是可检查性的表示来说，失败模式与收益同样具有信息量。
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.11460 [cs.CV] |
| （或 arXiv:2610.11460v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11460 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mohammad Zare [查看电子邮件]
[v1]
2026年10月8日星期四 08:12:22 UTC（465 KB）
来源：arXiv cs.AI · arxiv.org