跳到正文
热点事件持续更新

健康领域科学结论合成基准SciConBench发布

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

研究团队提出 SciConBench,一个包含 9.21K 问题与系统综述专家结论的大规模实时基准,用于评测健康与医学领域的开放域科学结论合成能力。 在清洁室评测环境 SciConHarness 下,8 个前沿模型与深度研究智能体中表现最好的事实 F1 仅为 0.337,且清洁室设置下的成绩普遍低于无约束评测。研究团队据此称,数据泄漏会高估模型的真实合成能力。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月11日
  1. arXiv cs.CY
    AI 智能体能否在健康领域合成科学结论?SciConBench 给出评测

    研究团队提出 SciConBench,一个包含 9.21K 问题与系统综述专家结论的大规模实时基准,用于评测健康与医学领域的开放域科学结论合成能力。在清洁室评测环境 SciConHarness 下,8 个前沿模型与深度研究智能体中表现最好的事实 F1 仅为 0.337,且清洁室设置下的成绩普遍低于无约束评测,说明数据泄漏会高估模型的真实合成能力。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。