arXiv cs.AI· Lingfei Qian, Yan Wang, Xueqing Peng, Polydoros Giannouris, Nadhem Zmandar, Yi Han, Yanguang Liu, Sophia Ananiadou, V\'ictor Guti\'errez-Basulto·· 11 小时前AI 评分34
MULTIFINGROUND:多语言财务证据抽取的识别与落地基准
Recognition Is Not Grounding: Benchmarking Multilingual Financial Evidence Extraction
AI 导读
研究者提出 MULTIFINGROUND 基准,用于检验多语言财务报告中的“识别—落地”差距,数据来自 90 家发行人以英文、法文、希腊文撰写的 FY2025 披露文件,并通过统一会计分类法对齐、提供可追溯的事实级标注。
正文 · AI 翻译
摘要:跨语言比较财务披露需要识别共通的会计概念,并还原表达这些概念的全部数值事实。现有基准测试评估了这些能力的各个方面,但难以说明二者是否能在同一多语言证据上同时成功。尤其是,语言模型能否跨语言识别这些概念,并从相同上下文中穷尽地还原其对应的数值证据,目前仍不清楚。我们提出 MULTIFINGROUND,一个旨在研究多语言财务报告中这一识别—落地差距的基准。MULTIFINGROUND 基于 90 家发行人在 2025 财年的英文、法文和希腊文披露文件构建,通过共享的会计分类体系对齐独立撰写的报告,并提供可追溯的事实级标注。该基准评估财务事实识别、概念识别、穷尽式事实选择和概念区分(无候选标签)。在 15 个受评估模型中,八个 API 和开放权重参考模型达到 97.3–99.4% 的概念识别准确率,但在 26.6–41.9% 的正确识别组中至少漏掉一个目标事实。进一步分析显示,概念区分能力差异显著,且受评估的金融专用模型带来的提升有限。我们的发现表明,强概念识别可以与不完整的证据还原并存,凸显了同时评估语义识别与证据完整性的重要性。
| 主题: | 人工智能(cs.AI);计算工程、金融与科学(cs.CE) |
| 引用为: | arXiv:2610.19432 [cs.AI] |
| (或 arXiv:2610.19432v2 [cs.AI] 为此版本) | |
| https://doi.org/10.48550/arXiv.2610.19432 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Yan Wang [查看电子邮件]
[v1]
2026年10月14日星期三 02:26:26 UTC(2,050 KB)
[v2]
2026年10月20日星期二 04:09:17 UTC(807 KB)
来源:arXiv cs.AI · arxiv.org