跳到正文
热点事件持续更新

HFCMA:分层细粒度跨模态对齐框架

1 篇报道1 个报道来源11 小时前更新

先了解这件事

AI 综述

Pengfeng Song 等作者提出分层细粒度跨模态对齐框架 HFCMA。该框架先用动态粒度发现(DGD)把原始图像 patch 和文本 token 聚合为自适应的视觉区域与文本短语,再把区域-短语匹配建模为熵正则化最优传输问题,在全局边际约束下估计结构化对齐矩阵。 上述内容来自论文摘要,属于作者提出的方法描述,报道未给出实验验证结果。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. arXiv cs.CL
    HFCMA:通过动态粒度发现与最优传输实现层次化细粒度跨模态对齐

    论文提出层次化细粒度跨模态对齐框架 HFCMA,先用动态粒度发现(DGD)将原始图像 patch 和文本 token 聚合为自适应视觉区域与文本短语,再把区域-短语匹配建模为熵正则化最优传输问题,在全局边际约束下估计结构化对齐矩阵。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。