Deepnote 发布 Agent Initiative Benchmark，GPT-6 Astra 以 8.97 分居首
Deepnote 发布 Agent Initiative Benchmark，GPT-6 Astra 居首
Deepnote 发布 Agent Initiative Benchmark，把主动型智能体放进模拟公司的 Slack 中，考察其是否知道何时介入、说什么、何时保持沉默。
Rohan Paul· @rohanpaul_ai · X·2026-11-13 23:24· 22 分钟前AI 评分48
AI 导读
Deepnote 发布 Agent Initiative Benchmark，把主动型智能体放进模拟公司的 Slack 中，考察其是否知道何时介入、说什么、何时保持沉默。
正文 · 原文
这是一个很漂亮的基准测试概念。
智能体工作空间公司 Deepnote（@deepnotehq）发布了 Agent Initiative Benchmark，这项测试将主动型智能体放入一家公司的 Slack 中，并对其是否知道何时介入、该说什么以及何时保持沉默进行评分。
GPT-6 Astra 以 8.97 分（满分 10 分）领先，GPT-6.1 Sol 以 8.65 分紧随其后，每项任务成本为 0.11 美元，而排名第三的 Claude Fable 5.2 每项任务成本为 1.87 美元。
它让每个模型都经历同一个循环：
在模拟公司的 Slack 中开启一个话题串
智能体决定是否要采取行动
它从 11 项服务中选择要检查的项目并展开调查
它发帖并标记合适的人，或者保持沉默
两个 LLM 评估器对照参考答案为这次运行打 0 到 10 分
在 X 查看被引用的帖子主动型智能体的最佳模型是什么？
今天，我们推出 Agent Initiative Benchmark。我们在一家合成公司内，用 12 个前沿模型测试了真实的工作场所任务，这家公司拥有 6 年高度详细的历史记录：其中有财务模型、CRM 记录、逾期发票、Linear 工单，以及影响公司发展的真实事件——竞争对手的产品发布、SVB 倒闭等。
我们利用该公司的 Slack 来测试一个主动型智能体在旁听每段对话时，会如何协助团队完成日常任务：从主动介入以协调各团队的举措，到提醒团队不要使用未经批准的客户标志。
亮点：
- 来自 @OpenAIDevs 的 6.1 Sol 和 Astra 击败了 Anthropic 最新的 Fable 5.2，其中 Sol 在性能和成本两方面都表现出色（每项任务 0.11 美元对 1.87 美元）。
- 最贵的模型并不是最好的：Fable 5.1 比 GPT-6 Luna 贵 430 倍，性能却相近。
- 大多数模型即使不需要帮助也会尝试帮忙。有趣的是，在这些失败案例中，它们会花更多时间思考，而这些不必要的工作比保持沉默多耗费约 80% 的时间和金钱。
如果你正在构建智能体，请继续阅读，了解哪种模型最适合你的用例的更多建议。下面是详细分析、开源数据集和基准测试代码：
来源：Rohan Paul · x.com
来源：RadarAI · aihot.news