跳到正文
arXiv cs.AI· Issa Sugiura, Taro Makino, Takashi Ishida·· 2 天前AI 评分31

JFinBench:基于最新认证考试的可持续刷新日文金融基准

JFinBench: A Continuously Refreshable Japanese Financial Benchmark from the Latest Certification Exams

AI 导读

研究团队推出 JFinBench,一个取自 2026 年六项定期认证考试的日文金融基准,共 321 道题,覆盖会计、税务、理财与银行领域。评测 12 个近期 LLM 显示,Claude Fable 5 与 GPT-6 Astra 总体准确率超过 93%,最佳开源权重模型 Kimi K3.1 Pro 落后 Claude Fable 5 达 12 个百分点。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大语言模型(LLM)正越来越多地应用于金融领域,因此需要基准来评估它们在监管与实践各异的金融体系中的能力。然而,现有金融基准对各国特定金融体系的覆盖有限,且随着已发布的题目泄露进训练数据,它们难以保持更新。我们推出 JFinBench,这是一个日本金融基准,包含来自 2026 年版六项定期举行的认证考试的 321 道样题,涵盖会计、税务、理财规划和银行业务。为构建该基准,我们开发了一条人在回路的智能体流水线:编码智能体编写针对具体考试的转换代码和审核页面,而人类则核验每一道样题并将修正反馈给智能体。该流水线可适应异构的考试格式,并减少纳入新考试版本的工作量,从而实现定期刷新以缓解数据污染。在评估 12 个近期 LLM 后,我们发现 Claude Fable 5 和 GPT-6 Astra 的总体得分超过 93%,而即使是最好的开放权重模型 Kimi K3.1 Pro 也落后 Claude Fable 5 达 12 个百分点。当模型还能使用终端和网络访问时,它们能检索到所缺乏的知识,且每个模型都有所提升。差距缩小,但仍约剩 4 个百分点,且模型排名基本不变,这表明即使有工具辅助,模型自身所掌握的知识仍然有价值。我们发布了数据集、评估代码和构建流水线。
评论: 32 页,14 幅图
主题: 人工智能(cs.AI)
引用为: arXiv:2611.18130 [cs.AI]
  (或 arXiv:2611.18130v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.18130

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Issa Sugiura [查看邮箱]
[v1] 2026 年 11 月 13 日星期五 12:59:12 UTC(2,137 KB)

来源:arXiv cs.AI · arxiv.org