arXiv cs.AI· Ziyang Zhang, Shenyi Li, Yilin Wang, Ziyun Cui, Bowen Zhou, Wen Wu, Chao Zhang·· 3 天前AI 评分26
MMTA：用时间序列、文本与视觉评测多模态时序分析
MMTA: Benchmarking Multimodal Temporal Analysis with Time Series, Text, and Vision
AI 导读
研究者提出 MMTA 基准，用时间序列、文本与视觉三模态任务评测多模态大模型，覆盖机器人、自动驾驶、医疗、金融等九个领域，含 3,524 条测试样本，涵盖分类与预测。
正文 · AI 翻译
摘要：时间序列分析在多模态环境中的研究日益增多，但大多数基准测试将时间信号与文本或由同一信号衍生的可视化配对。这使得多模态大语言模型（MLLMs）能否将时间序列与真实世界的视觉证据相结合这一问题仍悬而未决。我们提出了 MMTA（多模态时间分析），这是一个三模态任务基准，涵盖时间序列、文本和视觉之间多样的跨模态互补模式。MMTA 涵盖九个领域——机器人、自动驾驶、人类动作、制造业、AR 辅助、医疗保健、推荐、金融和气候——在视频+时间序列和图像+时间序列两种布局下，包含 3,524 个样本的测试集，覆盖分类和预测任务。该基准将异构的真实世界数据源标准化为统一模式，并配有领域特定提示、来源文档和成功加权指标，该指标对错误答案和生成失败均予以惩罚。对八个开源和专有 MLLM 的评估揭示了一个共同的瓶颈：将时间序列表示为文本会产生极长的 token 序列，并削弱与视觉证据的细粒度对齐，尤其是在长视频场景中。随后我们提出了 TimeOmni-v，一种多模态 LLM 扩展，具有专用的时间序列编码器、时间位置对齐、模态感知 token 布局和预测头。TimeOmni-v 提升了长视频分类和时间序列推理效率，表明 MMTA 不仅暴露了表示和 grounding 方面的失败，还推动了有针对性的模型设计。
| 评论： | 被 NeurIPS 2026 评估与数据集 Track 接收。项目页面：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17856 [cs.LG] |
| （或 arXiv:2610.17856v2 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.17856 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ziyang Zhang [查看邮箱]
[v1]
2026年10月13日星期二 07:20:58 UTC（6,574 KB）
[v2]
2026年10月14日星期三 05:39:34 UTC（6,574 KB）
来源：arXiv cs.AI · arxiv.org