arXiv cs.AI· Dongnuan Tian, Yan Yu, Yangfan Liu, Wenjun Tang, Junting Kan, Xiang Wang, Sicong Liu, Yangyang Zhang, Shuanghong Li·· 4 小时前AI 评分35
面向投资研究的 AI 智能体可靠评估框架:区分结果质量与执行质量
Reliable Evaluation of AI Agents for Investment Research: A Framework for Performance and Validity Assessment
AI 导读
研究者提出一套面向投资研究任务的 AI 智能体评估框架,将结果质量与执行质量分开衡量,并通过任务特定标准、确定性验证器和独立 LLM 评审适配不同任务需求。该框架还引入评估有效性机制,检查评估输入、参考信息、支撑证据与评分输出的完整性,并用专家复核处理评分分歧。数值结果显示,该框架能区分智能体在各评估维度上的表现差异,同时识别评估过程中的潜在可靠性问题,相关实现与评估材料将在 GitHub 发布。
正文 · AI 翻译
摘要:我们考虑评估承担投资研究任务的 AI 智能体的问题,其中智能体与外部信息源和计算工具交互,以生成财务分析和研究报告。一个重要挑战是,智能体最终输出的质量并不一定反映其执行过程的质量,而所得评估的可靠性还取决于评估程序的有效性。此外,投资研究任务在对数值准确性、信息检索、财务分析和支持性证据的要求上差异很大,这使得难以用一套统一的标准来评估智能体的表现。我们提出了一个面向领域的评估框架,将结果质量与执行质量区分开来,并通过任务特定标准、确定性验证器和独立的大语言模型评判者来适应这些差异。我们还引入了一种评估有效性机制,用于检查评估输入、参考信息、支持性证据和评分输出的完整性,并借助专家评审来解决已发现的缺陷和重大的评分分歧。数值结果表明,所提出的框架能够区分智能体在各评估维度上的表现差异,同时识别评估过程中潜在的可靠性问题。相关实现和评估材料将在 GitHub 上提供。
| 评论: | 21 页,2 幅图 |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.22338 [cs.AI] |
| (或 arXiv:2611.22338v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22338 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Dongnuan Tian [查看邮箱]
[v1]
2026 年 11 月 17 日星期二 07:40:37 UTC(3,390 KB)
来源:arXiv cs.AI · arxiv.org