arXiv cs.CL· Xanh Ho, Andr\'{e} Greiner-Petter, Florian Boudin, Yun-Ang Wu, Sunisth Kumar, Tian Cheng Xia, Hiba Akbi, Tim Schopf, Akiko Aizawa·· 10 小时前AI 评分31
NTCIR-19 SciClaimEval 任务概览：科学论文中的跨模态论断验证
Overview of the NTCIR-19 SciClaimEval Task: Cross-modal Claim Verification in Scientific Papers
AI 导读
NTCIR-19 试点任务 SciClaimEval 构建了覆盖 180 篇机器学习、自然语言处理与医学论文的论断验证数据集，将真实论断与支持/不支持其结论的表格和图片配对。
正文 · AI 翻译
摘要：本文概述了 \emph{SciClaimEval}，这是 NTCIR-19 上的一项试点任务，旨在对照科学论断所在论文的表格和图表来验证这些论断。我们的数据集将来自机器学习、自然语言处理和医学领域 180 篇论文的真实论断与其表格和图表的对比版本配对，其中一个版本支持该论断，另一个版本经过最小修改后不再支持。该任务包含两个子任务：判断某条证据是否支持某个论断，以及从两个证据版本中选出支持该论断的那个。共有 22 支队伍注册，是 NTCIR-19 各项任务中注册数量最多的，其中 14 支队伍提交了 177 次运行结果。大多数系统基于多模态大语言模型构建，依赖提示和多阶段推理，而非针对特定任务进行微调。在第一个子任务上，最佳系统达到了 98.1\% 的配对准确率，但排名前六的系统都依赖于对比配对；对每个论断-证据对单独进行判断的最佳系统得分低了 24.3 分。嵌入精心设计流程中的开放权重模型与专有模型表现相当。然而，对照证据验证单个论断——这一在实际应用中至关重要的场景——仍然是一个未解决的问题。
| 评论： | 前两位作者贡献相同。有关该共享任务的更多信息，请访问此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06090 [cs.CL] |
| （或 arXiv:2611.06090v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06090 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xanh Ho Thi [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 07:33:52 UTC（920 KB）
来源：arXiv cs.CL · arxiv.org