arXiv cs.AI· Jia Li, Yinfeng Yu·· 3 天前AI 评分20
两阶段多模态学习实现动态音视觉导航：从物理对齐到场景聚合
Two-Stage Multi-modal Learning for Dynamic Audio-Visual Navigation: From Physical Alignment to Scene Aggregation
AI 导读
针对动态音视觉导航（D-AVN）中现有方法依赖语义听觉特征、难以泛化到未见声音类别的问题，研究者提出两阶段多模态学习框架：物理对齐阶段用 Intensity-Calibrated Geometry Encoder（ICGE）将声音强度与视觉几何做物理对齐。
正文 · AI 翻译
摘要：具身视听导航（AVN）要求智能体通过联合利用视觉和听觉线索来定位声音目标。虽然先前的工作在静态声源上取得了显著成功，但现实场景中往往涉及移动目标，从而引出了更具挑战性的问题——\textbf{动态视听导航（D-AVN）}。现有方法主要依赖语义听觉特征，这限制了对未听过声音类别的泛化能力，并阻碍了细粒度的空间推理。为应对这些挑战，我们提出了一种用于 D-AVN 的新型 \textbf{两阶段多模态学习}框架。在物理对齐阶段，所提出的 \textbf{强度校准几何编码器（ICGE）}执行声音强度与视觉几何的物理信息对齐，以捕捉类别无关的空间对应关系。在场景聚合阶段，基于 Transformer 的 \textbf{跨模态场景聚合器（CMSA）}动态整合多模态特征，以构建用于策略学习的鲁棒状态表示。在 Replica 和 Matterport3D 上的大量实验表明，我们的方法达到了最先进的成功率，同时在复杂环境和未听过声音场景下显著提升了泛化能力和导航效率。
| 评论： | 主论文（10 页）。已被 IEEE Transactions on Audio, Speech and Language Processing（TASLP 2026）接受发表 |
| 主题： | 声音（cs.SD）；人工智能（cs.AI）；机器人学（cs.RO）；音频与语音处理（eess.AS）；信号处理（eess.SP） |
| 引用为： | arXiv:2610.14077 [cs.SD] |
| （或 arXiv:2610.14077v1 [cs.SD] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14077 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yinfeng Yu [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 10:29:07 UTC（1,242 KB）
来源：arXiv cs.AI · arxiv.org