arXiv cs.AI· Yiyang Zhu, Guangyuan Liu, Jingdi Lei, Li Wei, Chau Yuen·· 10 小时前AI 评分31
从点到轨迹:重新思考物理事件的多模态对齐
From Points to Trajectories: Rethinking Multimodal Alignment for Physical Events
AI 导读
研究指出,现有多模态对齐器将时间序列压缩为单一池化嵌入,在相同任务条件下录制的“孪生事件”上失效,且随序列变长,任何池化表示都收敛于静态录制条件,无法靠损失函数或嵌入几何区分。
正文 · AI 翻译
摘要:推进物理人工智能(Physical AI)需要超越静态物体识别,转而理解现实世界中的力学过程(如冲击、摩擦和力传递)如何随时间展开。多模态对齐器试图通过匹配多传感器流来捕捉这些交互,但主流架构将每个时间序列压缩为单一的池化嵌入。我们证明,这种范式在孪生事件上会失效:孪生事件是指在相同任务条件下记录的不同物理执行过程。压缩时间维度会平均掉瞬态的跨模态动态,从而实际上将物理事件对齐退化为静态场景识别。形式上,我们证明随着序列长度增加,任何时间池化表示都会收敛到平稳的记录条件。因此,随着窗口增大,仅凭池化特征,任何损失函数或嵌入几何的选择都无法区分孪生事件。相反,我们证明物理事件由事件间隙唯一标识,即跨模态的瞬时同步共波动,这种波动会被池化抹除,且仅沿未池化轨迹累积。为恢复这一信号,我们提出 CounterPoint,一个轻量级即插即用模块,它去除每种模态的时间均值,以评分帧级跨模态一致性。将 CounterPoint 集成到四个最先进(SOTA)的多模态对齐器中后,表示从粗粒度条件匹配转向细粒度物理事件对齐,持续优于现有的时间对齐方法。
| 主题: | 人工智能(cs.AI);信号处理(eess.SP) |
| 引用为: | arXiv:2611.24249 [cs.AI] |
| (或使用 arXiv:2611.24249v1 [cs.AI] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2611.24249 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Yiyang Zhu [查看邮箱]
[v1]
2026年11月18日星期三 11:26:08 UTC(1,238 KB)
来源:arXiv cs.AI · arxiv.org