arXiv cs.MA· Meenakshi Rajpurohit, Anna Phan, Ravikumar Komandur Narayanan, Gunanidhi Ramakrishnan, Nathan Howland·· 9 小时前AI 评分42
FinVeriQA:面向金融问答的研究智能体,涵盖路由、检索、MCP 工具调用与来源感知的证据验证
FinVeriQA: Financial Research Agents for Question Answering: Routing, Retrieval, MCP Tool Use, and Provenance-Aware Evidence Verification
AI 导读
开源多智能体金融问答原型 FinVeriQA 用紧凑型类型化决策模型 Laya 负责路由,Python 负责全部数值计算,Mistral-7B 撰写带引用的答案,并通过 MCP server 暴露整条流水线。
正文 · AI 翻译
摘要:大型语言模型(LLM)能写出流畅的财务分析,却会算错比率、回忆过时的价格,并以高置信度将问题路由到错误的工具。我们探究在财务问答助手中每个任务应由哪个组件承担,并通过 FinVeriQA 进行研究——这是一个基于 SEC 文件和实时市场数据的开源多智能体研究原型:一个紧凑的类型化决策模型(Laya)负责路由每个问题并筛除建议类请求,Python 计算每一个数字,检索与工具负责获取证据,Mistral-7B 撰写带引用的答案,代码验证器检查所引用的 ID 是否存在以及数字是否与计算出的注释相符,一个模型上下文协议(MCP)服务器暴露该流水线。在实时实验中,Laya 的路由表现优于 Mistral-7B(0.85 对 0.52;总体 0.86 对 0.68,McNemar p = 0.0003);12B 的 Mistral 决策表现并未更好,DeepSeek-R1-8B 决策表现更好(0.79 对 0.68,p = 0.0192),但速度约慢 9.9 倍。Mistral-7B 在 100 项财务计算中正确计算了 29%,而 Python 为 100%;实时报价将价格误差从 210% 降至 0.00%,混合检索在 50 个文件问题上达到 76% 的 Hit@5。然而在一个实时案例研究中,两个智能体的答案都通过了验证,却将 AMD 的样本数据冠以 NVIDIA 和 Alphabet 之名进行描述。一项在 FinRank 基准上的受控上限研究解释了原因:当共享证据中的一个数字被篡改时,自一致性仍保持自信(一致性为 0.55 至 0.59,而准确率从 0.50 降至 0.00),共享证据检查(即我们的验证器所执行的那类检查)能捕获 35% 的错误,而对照原始段落的检查能捕获 77%($p = 5.96 \times 10^{-8}$);对于 DeepSeek-R1-8B,则为 68% 对 90%。验证必须独立于撰写者所见到的证据。
| 评论: | 15 页,4 幅图,11 张表。代码:此 https URL |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI);信息检索(cs.IR);多智能体系统(cs.MA) |
| 引用为: | arXiv:2611.25071 [cs.CL] |
| (或 arXiv:2611.25071v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.25071 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Meenakshi Rajpurohit [查看电子邮件]
[v1]
2026 年 11 月 18 日星期三 19:13:45 UTC(406 KB)
来源:arXiv cs.MA · arxiv.org