跳到正文
热点事件持续更新

LiveSearch:用可执行代码验证金融搜索

1 篇报道1 个报道来源12 小时前更新

先了解这件事

AI 综述

Sinuo Wang等作者提出实时金融搜索基准LiveSearch,把每道题存为可执行验证代码:一段调用专业金融数据服务的类型化程序,加一个声明式提取器;评测时执行程序得出金标准答案,并每日自动重跑。 在通用网页搜索下,六个当代工具调用模型取得70.9%至76.7%的答案准确率。作者称,连续三天内70%的题目金标准值发生变化;即使采用容错匹配,直接复用旧快照的答案在一天内也会在多数题目上失效。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月28日
  1. arXiv cs.AI
    LiveSearch:把问题写成可执行验证代码的金融搜索智能体实时基准

    LiveSearch 是一个面向金融搜索智能体的实时基准,每个问题以可执行验证代码形式存储——对专业金融数据服务的类型化调用程序加声明式提取器,评测时执行程序得出金标准答案,并每日自动重跑。在通用网页搜索下,六个当代工具调用模型取得 70.9% 至 76.7% 的答案准确率;连续三天内 70% 的题目金标准值发生变化,即使采用容错匹配,直接复用旧快照的答案在一天内也会在多数题目上失效。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。