arXiv cs.AI· Jinghua Hou, Zhe Liu, Hengshuang Zhao·· 9 天前AI 评分23
DVD：面向高效 MLLM 感知的动态向量解码方法
DVD: Dynamic Vector Decoding for Efficient MLLM-based Perception
AI 导读
研究提出动态向量解码方法 DVD，将 2D 边界框、2D 掩码和 3D 边界框统一转为 1D 向量序列并映射为高维空间中的紧凑离散 token，再通过轻量 de-tokenizer 解码回原始感知表示，实现与 MLLM 的无缝集成。
正文 · AI 翻译
摘要：多模态大语言模型在连接视觉与语言方面取得了显著进展，促进了人机交互、机器人技术和自动驾驶所必需的各种感知任务。然而，现有的基于 MLLM 的感知方法主要依赖基于文本的坐标表示，这会导致过多的 token 开销，或者依赖固定范围量化，这受限于范围和精度约束，尤其是在空间范围无界且定位精度要求高的 3D 领域。为应对这些挑战，我们提出了一种名为 DVD 的动态向量解码方法，统一了 2D 和 3D 感知任务的表示。具体而言，我们首先将多样的感知表示（即 2D 边界框、2D 掩码和 3D 边界框）转换为 1D 向量序列，然后将其映射到高维空间中的紧凑离散 token。接着，一个轻量级去分词器通过将输出 token 解码回原始 2D 和 3D 感知表示，实现与 MLLM 的无缝集成。在包括 RefCOCO 系列、SUN-RGBD、KITTI、Hypersim、nuScenes 在内的 2D 和 3D 感知基准上的大量实验表明，DVD 在 2D 和 3D 任务中取得了优越性能，并显著减少了 token 开销和推理延迟。DVD 为将感知能力集成到 MLLM 中提供了一个高效且通用的框架，克服了现有方法的固有局限。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.12266 [cs.CV] |
| （或 arXiv:2610.12266v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12266 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jinghua Hou [查看电子邮件]
[v1]
2026年10月8日星期四 16:32:28 UTC（3,880 KB）
来源：arXiv cs.AI · arxiv.org