跳到正文
arXiv cs.AI· Renhe Sun, Yueying Feng, Bohan Yu, Tong Niu, Yunqi Liu, Zitong Wang, Haolin He, Kexin Shi, Hualei Wang, Qiuqiang Kong, Chang Yao, Yuge Huang, Weiqiang Wang, Jingyuan Chen, Jian Liu·· 4 小时前AI 评分26

EgoLink:ACM MM 2026 第一人称语言-视觉交互网络知识挑战赛总结

EgoLink: Egocentric Language-Vision Interactive Network Knowledge Challenge Summary

AI 导读

EgoLink 挑战赛在 ACM Multimedia 2026 上评测第一人称多模态智能,覆盖自我中心视频社会推理与通过对话、工具调用完成服务任务的交互智能体两条赛道。

正文 · AI 翻译

作者:Renhe Sun、Yueying Feng、Bohan Yu、Tong Niu、Yunqi Liu、Zitong Wang、Haolin He、Kexin Shi、Hualei Wang、Qiuqiang Kong、Chang Yao、Yuge Huang、Weiqiang Wang、Jingyuan Chen、Jian Liu

查看 PDF HTML(实验性)

摘要:ACM Multimedia 2026 的 EgoLink Challenge 对第一人称多模态智能进行基准评测,将第一人称感知、社交推理与交互式动作联系起来。与聚焦可见物体和活动的基准不同,EgoLink 评估模型能否解读情感与社交线索、消解视觉指代,并将用户请求转化为经过验证的工具介导动作。其两个赛道分别涵盖第一人称视频中的社交推理,以及通过对话、工具使用和闭环执行完成服务任务的交互式智能体。二者共同检验在离线问答和改变状态的交互中,感知、推理与决策是否保持耦合。我们重点介绍 Track 1 的多阶段数据流水线,用于生成多项选择题(MCQ)、生成思维链、自动质量评分和视频贡献过滤。我们总结了任务设计、评估指标、规则、排行榜和代表性方案。该基准将客观答案评分与基于过程和结果的评估相结合,从而既能分析最终正确性,也能分析执行质量。Track 1 最佳系统达到 0.9263 的准确率,Track 2 最佳系统达到 0.844 的联合成功率和 0.916 的微准确率。参赛报告揭示了一个共同原则:强大的系统会在回答或行动之前,通过候选验证、选项鲁棒推理、场景感知规划、工具规范化和状态感知纠正,使中间证据显式化。这些发现凸显了过程验证和基于证据的推理对于可靠的第一人称多模态智能的重要性。
评论: 发表于 ACM Multimedia 2026 (MM '26)
主题: 计算机视觉与模式识别 (cs.CV);人工智能 (cs.AI)
引用为: arXiv:2611.21690 [cs.CV]
  (或 arXiv:2611.21690v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.21690

由 DataCite 颁发的 arXiv DOI(待注册)

期刊 参考: 第 34 届 ACM 国际多媒体会议 (MM '26) 论文集,第 17505-17509 页,2026 年
相关 DOI: https://doi.org/10.1145/3767308.3837706

链接到相关资源的 DOI

提交历史

来自:Roy Sun [查看邮箱]
[v1] 2026 年 11 月 16 日星期一 07:43:02 UTC (12,040 KB)

来源:arXiv cs.AI · arxiv.org