跳到正文
热点事件持续更新

ATLAS-Finance基准:前沿模型通过率不足11%

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

Elaine Lau等作者提出ATLAS-Finance基准,用于评测AI智能体在模拟银行环境中完成投资银行任务的能力。该基准包含100个端到端任务,覆盖13家模拟公司,任务由资深银行家基于真实交易工作设计,单个任务需15至30小时完成。 智能体需在邮件、聊天、日历、笔记和文件中检索信息、调和冲突与更新,再构建复杂财务模型,交付物由专家撰写的评分标准评估,评分标准中位数为124.5条。作者报告称,当前前沿模型中表现最好的Claude Opus和Fable通过率不足11%。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. arXiv cs.AI
    ATLAS-Finance:在真实银行环境中评测 AI 智能体的基准

    ATLAS-Finance 是一个包含 100 个端到端投资银行任务、覆盖 13 家模拟公司的基准,由资深银行家基于真实交易工作设计,单个任务需 15-30 小时完成。智能体需在邮件、聊天、日历、笔记和文件中检索信息、调和冲突与更新,再构建复杂财务模型,交付物由专家撰写的评分标准评估(中位数 124.5 条)。当前前沿模型中表现最好的 Claude Opus 和 Fable 通过率不足 11%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。