跳到正文
arXiv cs.AI· Qiang Chen, Xiao Wang, Qingquan Yang, Hao Si, Zikang Yan, Guosheng Xu, Jin Tang·· 10 小时前AI 评分22

FusionCLIP:面向聚变等离子体诊断的多模态对比预训练框架

FusionCLIP: Multimodal Contrastive Pretraining for Fusion Plasma Diagnostics

AI 导读

FusionCLIP 是一个多模态对比预训练框架,通过选择性视频编码器保留信息性视觉 token、基于查询的时间序列编码器按观测时间戳整合异步诊断信号,并用对比学习对齐两种模态。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:可见光视频与多变量诊断信号为托卡马克放电提供了互补的观测。然而,现有的聚变预训练方法主要通过重建或预测观测来学习表征,对这些模态之间的对应关系探索不足。视频帧中等离子体区域在空间上局部化,且诊断采样率差异显著,这进一步给表征学习带来了挑战。我们提出 FusionCLIP,一个多模态对比预训练框架。选择性视频编码器保留信息量丰富的视觉 token,而基于查询的时间序列编码器利用观测时间戳整合异步诊断信号。对比学习对齐两种模态的表征。我们构建了 EAST 多模态诊断(EAST-MMD)数据集,包含 1307 次 EAST 放电,并通过在三个任务上独立微调来评估模型:破裂预测、边缘局域模(ELM)分类和 H98 回归。FusionCLIP 取得 89.07% 的联合得分,分别比最佳竞争基线和域内对比预训练基线 CLIP-Base 绝对提升 2.41% 和 2.90%。消融实验和注意力可视化进一步支持了其关键组件的贡献。
学科: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2611.09493 [cs.CV]
  (或 arXiv:2611.09493v2 [cs.CV] 为本版本)
  https://doi.org/10.48550/arXiv.2611.09493

由 DataCite 颁发 arXiv DOI

提交历史

来自:Qiang Chen [查看邮箱]
[v1] 2026年11月6日星期五 14:14:41 UTC(7,563 KB)
[v2] 2026年11月18日星期三 11:20:14 UTC(8,047 KB)

来源:arXiv cs.AI · arxiv.org