跳到正文
arXiv cs.AI· Dongnuan Tian, Yan Yu, Yangfan Liu, Wenjun Tang, Junting Kan, Xiang Wang, Sicong Liu, Yangyang Zhang, Shuanghong Li·· 4 小时前AI 评分35

面向投资研究的 AI 智能体可靠评估框架:区分结果质量与执行质量

Reliable Evaluation of AI Agents for Investment Research: A Framework for Performance and Validity Assessment

AI 导读

研究者提出一套面向投资研究任务的 AI 智能体评估框架,将结果质量与执行质量分开衡量,并通过任务特定标准、确定性验证器和独立 LLM 评审适配不同任务需求。该框架还引入评估有效性机制,检查评估输入、参考信息、支撑证据与评分输出的完整性,并用专家复核处理评分分歧。数值结果显示,该框架能区分智能体在各评估维度上的表现差异,同时识别评估过程中的潜在可靠性问题,相关实现与评估材料将在 GitHub 发布。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:我们考虑评估承担投资研究任务的 AI 智能体的问题,其中智能体与外部信息源和计算工具交互,以生成财务分析和研究报告。一个重要挑战是,智能体最终输出的质量并不一定反映其执行过程的质量,而所得评估的可靠性还取决于评估程序的有效性。此外,投资研究任务在对数值准确性、信息检索、财务分析和支持性证据的要求上差异很大,这使得难以用一套统一的标准来评估智能体的表现。我们提出了一个面向领域的评估框架,将结果质量与执行质量区分开来,并通过任务特定标准、确定性验证器和独立的大语言模型评判者来适应这些差异。我们还引入了一种评估有效性机制,用于检查评估输入、参考信息、支持性证据和评分输出的完整性,并借助专家评审来解决已发现的缺陷和重大的评分分歧。数值结果表明,所提出的框架能够区分智能体在各评估维度上的表现差异,同时识别评估过程中潜在的可靠性问题。相关实现和评估材料将在 GitHub 上提供。
评论: 21 页,2 幅图
主题: 人工智能(cs.AI)
引用为: arXiv:2611.22338 [cs.AI]
  (或 arXiv:2611.22338v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22338

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Dongnuan Tian [查看邮箱]
[v1] 2026 年 11 月 17 日星期二 07:40:37 UTC(3,390 KB)

来源:arXiv cs.AI · arxiv.org