arXiv cs.AI· Abhinav Arun, Reetu Raj Harsh, Bhaskarjit Sarmah, Stefano Pasquali·· 11 小时前AI 评分29
FinMultiHopQA：基于知识图谱的多跳金融问答基准，用于证据驱动推理
FinMultiHopQA: A KG-Grounded Multi-Hop Financial QA Benchmark for Evidence-Driven Reasoning
AI 导读
FinMultiHopQA 是一个包含 15,600 道定性与定量问题的多跳金融问答基准，基于从 SEC 10-K 文件构建、含 17.5M+ 三元组的时间索引金融知识图谱 FinReflectKG。
正文 · AI 翻译
摘要：多跳金融问答通常需要组合分布在文件章节、财年和同行公司中的证据。此前的金融问答基准分别解决了该问题的部分方面，但没有任何一个能在大规模上同时支持受控的多跳分类体系、文档拓扑、模体级可复现性以及来源关联的可审计性。我们推出 FinMultiHopQA，这是一个包含 15,600 个定性和定量问题的基准，其基础是 FinReflectKG——一个由 SEC 10-K 文件衍生、包含 1750 万以上三元组的时间索引金融知识图谱。该流水线在文档内、跨年度和跨公司三种模式下实例化统计上显著的 2-3 跳类型化知识图谱模体。除了填补这一空白，相同的构建方式还让我们能够保持每个问题的底层证据不变，仅改变其呈现方式——将其嵌入嘈杂的周围上下文中或改变其顺序——从而提供一个受控工具，以大规模研究一个次要问题：使用六种这样的呈现方式，我们测试推理大语言模型的表现是否依赖于证据结构。结果证实了这一点：尽管具备推理能力，在相同证据的结构化程度较低的呈现方式下，判定正确率始终较低——在定量跨公司推理和 3 跳分支模体上最为明显——这表明仅靠推理并不能完全抵消证据结构方式的影响；知识图谱关联的呈现方式在设计上也使用更少的输入 token。我们发布了该基准、来源标注、模型输出、评估记录以及配套技术文档。
| 评论： | 8 页，4 幅图。v1 的重大修订版，包含扩展至 15,600 个问答对的基准、增强的知识图谱驱动问题生成、额外的证据评估协议、更广泛的模型评估以及专家质量验证 |
| 主题： | 计算金融（q-fin.CP）；人工智能（cs.AI） |
| 引用为： | arXiv:2510.02906 [q-fin.CP] |
| （或 arXiv:2510.02906v2 [q-fin.CP] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2510.02906 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Abhinav Arun [查看电子邮件]
[v1]
2025 年 10 月 3 日星期五 11:19:31 UTC（2,227 KB）
[v2]
2026 年 11 月 4 日星期三 19:25:56 UTC（491 KB）
来源：arXiv cs.AI · arxiv.org