SlackBench:协作项目智能体基准发布
热点事件持续更新
SlackBench:协作项目智能体基准发布
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Mingxuan Li 等作者发布 SlackBench,一个评测 AI 智能体在真实科研与工程协作工作流中表现的基准,数据集已公开。该基准基于真实学术项目的隐私保护重演环境,包含 140 条查询,覆盖异构来源检索、不可答问题弃答、目标导向摘要和长对话情境推断。 在 33 个前沿模型与智能体框架上,最佳系统得分约 80%,多数智能体低于 66%。
AI 根据报道生成 · 55 分钟前更新
最新进展11月5日 13:00
SlackBench:在真实代码仓库协作项目上评测 AI 智能体的基准报道时间线
沿着报道,了解事件的不同侧面。
11月5日
- arXiv cs.AISlackBench:在真实代码仓库协作项目上评测 AI 智能体的基准
SlackBench 是一个评测 AI 智能体在真实科研与工程协作工作流中表现的基准,基于真实学术项目的隐私保护重演环境,包含 140 条查询,覆盖异构来源检索、不可答问题弃答、目标导向摘要和长对话情境推断。在 33 个前沿模型与智能体框架上,最佳系统得分约 80%,多数智能体低于 66%。数据集已公开。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。