CEO-Bench 发布：让智能体在 500 天模拟创业中比拼长期决策

TL;DR

• 今天，智能体执行单个任务。明天，智能体将引导组织迈向长期目标。
• 我们推出 CEO-Bench 来衡量这种引导智能。在 CEO-Bench 中，智能体运营一家模拟 AI 初创公司 500 天。
• Kimi K3 创下已公布的最佳单次运行现金纪录 2215 万美元，并完成了三次 500 天模拟中的两次。

目录

引言 CEO-Bench 简介 CEO-Bench 如何运作 挑战机制 操作界面 结果 智能体行为 观看模型实战 结论

一个故事

库比蒂诺，1997 年。

苹果距离破产还有九十天。在总部的一间会议室里，公司领导层面临着苹果可能无法存活下去的可能性。

史蒂夫·乔布斯走到白板前，画了一个简单的网格：消费级与专业级，台式与便携。四个格子容纳整个公司。他做出了决定：苹果只为这四个格子打造产品。

这是一次痛苦的削减。产品消失了。团队被拆散。但这个决定给了苹果它已经失去的东西：专注。接着是 iMac。然后是 iPod。再然后是 iPhone。一家濒临崩溃的公司成为了世界上最有价值的公司之一。

下一个前沿：引导智能

史蒂夫·乔布斯展现了一种贯穿历史的战略智能，推动了人类一些最重大的成就。

这种智能与当今 AI 智能体的智能有着根本不同。今天，我们构建的智能体在执行编码和写作等单个任务方面迅速提升。为了贡献更多价值，明天的智能体需要引导组织迈向长期目标。

我们构建 CEO-Bench，作为衡量引导智能的第一步。

今天，我们衡量 AI 智能体执行孤立任务的智能。下一个前沿是衡量智能体在长周期内引导系统走向遥远目标的智能。

在 CEO-Bench 中，我们旨在衡量四项核心技能的组合，以引导系统应对现实世界的挑战：

1. 在不确定性中驾驭长周期
2. 在嘈杂环境中获取信息
3. 适应不断变化的世界
4. 协调多个动态部分朝着一个连贯目标前进

我们在一项典型的现实世界任务上进行评估：运营一家模拟初创公司 500 天。

我们给智能体 100 万美元起始现金，并以模拟结束时的现金余额作为性能指标。智能体通过一个可编程界面进行操作，可使用业务数据库、公司管理工具和社交媒体。结果由一个部分可观测、嘈杂且不断演变的市场驱动，其后果具有延迟性和耦合性。

运营一家初创公司需要协调许多动态部分，这使其成为评估智能体在长周期内引导复杂决策能力的典型任务的合适选择。

智能体能做什么。智能体每周通过 34 个工具行动，涵盖定价、增长、产品、运营、信息获取、公共传播和企业销售。 阅读更多收起

在每个模拟周中，智能体可以在下表所示类别的 34 个工具之间进行不限轮次的操作。这些类别涵盖定价与套餐设计、增长与市场扩张、产品质量与研究、可靠性与支持、信息获取、公众沟通以及企业销售。每个工具都接受细粒度的结构化参数，因此智能体可以组合出庞大的可能策略空间。

智能体如何赚钱和亏钱。现金通过订阅和广告收入、容量与计算成本、支持、开发、获客、市场调研和研究项目发生变化。 阅读更多收起

智能体通过客户订阅付款和产品内广告变现来盈利。我们将客户订阅的公司产品抽象为一个数值化的产品质量。产品质量越高，产品订阅和付款就越多，但通过开发、研究、基础设施容量、支持和模型层级选择来维持质量需要支出。通过广告渠道获取客户也需要花钱。因此，现金会同时通过即时成本和延迟的收入效应发生变化。

\[ \begin{aligned} \underbrace{B_{t+1}-B_t}_{\substack{\text{每日现金}\\\text{变化}}} ={}& \underbrace{Y_t^{\mathrm{sub}}}_{\substack{\text{订阅}\\\text{付款}}} +\underbrace{\sum_iY_{i,t}^{\mathrm{ads}}}_{\substack{\text{产品内}\\\text{广告}}} -\underbrace{K_{\kappa_t}^{\mathrm{capacity}}}_{\substack{\text{容量}\\\text{成本}}} -\underbrace{\sum_p \chi_p^{\mathrm{usage}}U_{p,t}^{\mathrm{use}}}_{\substack{\text{使用计算}\\\text{成本}}}\\ &-\underbrace{x_t^{\mathrm{ops}}}_{\substack{\text{支持}\\\text{支出}}} -\underbrace{x_t^{\mathrm{dev}}}_{\substack{\text{开发}\\\text{支出}}} -\underbrace{X_t^{\mathrm{target\text{-}ops}}}_{\substack{\text{定向}\\\text{支持}}} -\underbrace{\sum_gx_{g,t}^{\mathrm{target\text{-}dev}}}_{\substack{\text{定向}\\\text{开发}}}\\ &-\underbrace{\sum_{c,g}x_{c,g,t}^{\mathrm{ads}}}_{\substack{\text{获客}\\\text{广告}}} -\underbrace{N_t^{\mathrm{lead}}c^{\mathrm{lead}}}_{\substack{\text{线索}\\\text{获取}}} -\underbrace{K_t^{\mathrm{market}}}_{\substack{\text{市场}\\\text{调研}}} -\underbrace{K_t^{\mathrm{group}}}_{\substack{\text{群体}\\\text{调研}}} -\underbrace{K_t^{\mathrm{project}}}_{\substack{\text{研究}\\\text{项目}}} \end{aligned} \]

对客户与间接反馈进行建模。客户具有隐藏的价格-质量偏好，智能体必须从间接痕迹中推断满意度和需求。 展开阅读收起

模拟器中有 26 个客户群体。每个客户群体由隐藏的价格和质量偏好分布组成，例如最高支付意愿和每个价格下可接受的最低质量。每个客户通过从群体分布中采样其独特的偏好参数来创建。在某个订阅计划的价格下，如果所提供的产品质量超过客户可接受的最低质量，客户就会订阅。如果另一个计划能带来更好的质量剩余，客户可能会更换计划；如果没有任何计划仍可接受，则可能会取消。客户满意度会改变公司声誉，而声誉会影响新客户获取率。智能体不会直接观察满意度、支付意愿或质量阈值。相反，它通过分析订阅、流失、支持、收入和声誉数据，以及监控模拟社交媒体来推断反馈。

客户获取与企业谈判。获取取决于渠道支出、群体特定响应、声誉、社交媒体、饱和、宏观周期、需求冲击和网络效应。 展开阅读收起

代理商通过在广告渠道上投入来获取新客户。每个客户群体对每个广告渠道的反应各不相同，因此相同的投入在不同群体中可能产生不同的获客率。声誉、社交媒体反应、市场饱和度、需求激增以及宏观经济状况也会影响获客速度。我们根据这一期望值参数化的泊松分布，每天抽样生成新潜在客户。市场调研可以揭示更多客户群体，并改善代理商对已知群体的了解。企业客户遵循相同的价格与质量逻辑，但交易通过报价、还价、回复延迟以及可能的拒绝来进行谈判。

\[ \begin{aligned} \underbrace{\mathbb{E}\!\left[n_{g,t}^{\mathrm{prospect}}\right]}_{\substack{\text{群体 }g\text{ 的预期}\\\text{新潜在客户数}}} ={}& \underbrace{R_{g,t}}_{\substack{\text{群体 }g\text{ 的}\\\text{声誉}}} \cdot \underbrace{D_{g,t}}_{\substack{\text{群体 }g\text{ 的}\\\text{市场饱和度}}} \cdot \underbrace{C_t}_{\substack{\text{日历}\\\text{周期}}} \cdot \underbrace{M_{g,t}}_{\substack{\text{宏观经济}\\\text{周期}}} \cdot \underbrace{A_{g,t}}_{\substack{\text{社交媒体}\\\text{反应}}} \cdot \underbrace{Z_t}_{\substack{\text{需求}\\\text{激增}}}\\ &\cdot\left( \underbrace{\sum_c\frac{x_{c,g,t}L_{c,g,t}}{x_{\mathrm{ad}}}}_{\substack{\text{来自各广告}\\\text{渠道的线索}}} +\underbrace{\sum_hN_{h,t}W^{\mathrm{net}}_{h,g}}_{\substack{\text{来自各群体的}\\\text{网络效应}}} \right) \end{aligned} \]

产品质量与竞争对手压力。产品质量来自开发、研究、模型层级选择、定向投资、产能、支持、配额以及广告，同时竞争对手的期望不断上升。 展开阅读收起

产品质量受日常开发、研究项目、模型层级选择、定向开发、基础设施产能、支持支出、使用配额以及应用内广告强度的影响。这些控制项通过基础产品质量、配额履行、系统过载、支持延迟、关系历史以及广告负载来塑造客户体验。配额短缺会乘以整个感知质量表达式。竞争对手通过定期提高客户质量期望来施加压力。广泛的产品开发和研究可能使竞争对手更快赶上，而针对特定群体的定向开发更难被复制，使竞争对手追赶得更慢。

\[ \begin{aligned} \underbrace{Q_{i,t}^{\mathrm{perc}}}_{\substack{\text{客户 }i\text{ 的}\\\text{感知质量}}} ={}& \underbrace{\min\!\left(1,\frac{U_{p,t}}{D_Uu_i}\right)}_{\text{配额满足度}} \Bigg[ \underbrace{m_p}_{\text{模型层级效应}}\left( \underbrace{q_0}_{\text{初始质量}} +\underbrace{b_t^{\mathrm{shared}}}_{\text{开发改进}} +\underbrace{b_{g,t}^{\mathrm{group}}}_{\text{定向开发改进}} \right) -\underbrace{\beta_o o_t}_{\text{过载惩罚}}\\ &+\underbrace{\beta_r(r_{i,t}-r_0)}_{\text{客户关系}} +\underbrace{\beta_d\log\!\left(\alpha_d+d_{i,t}/d_0\right)}_{\text{客户粘性}} -\underbrace{\beta_I I_{i,t}}_{\text{未解决问题惩罚}} -\underbrace{\eta_i^{\mathrm{ads}}a_{i,t}^{\mathrm{eff}}}_{\text{应用内广告惩罚}} \Bigg] \end{aligned} \]

不断变化的世界带来挑战。宏观趋势、声誉传播、饱和、需求激增和竞争对手压力迫使智能体不断修正策略。 阅读更多收起

世界随时间演变，受到宏观经济趋势、相互关联的声誉传播、市场饱和、需求激增和竞争对手压力的影响。这些因素影响获客、留存和企业交易结果。挑战在于，智能体只能观察到这些变化的部分且延迟的证据。它必须从痕迹中推断隐藏的客户和市场状况，选择效果在不同时间尺度上显现的行动，并随着公司和市场的变化修正其策略。

我们将 CEO-Bench 的世界机制设计为对现实世界的富有表现力的仿真，同时保持机制化，使成功取决于真正的技能，而非利用脆弱的模拟。我们在下面描述世界机制设计中的七项核心原则，并在图中展示四个示例。

通过细粒度模拟最大化真实感。模拟器对 26 个群体中的个体客户建模，而不仅仅是总需求。 阅读更多收起

模拟器对 26 个客户群体以及每个群体中的个体客户建模，而不仅仅是总需求。每个客户都有自己的获客路径、订阅状态、价格暴露、使用情况、满意度和取消轨迹。客户还被组织成具有不同需求、预算、价格敏感度、广告渠道效果、支持期望和行为模式的多样化群体。这种细粒度增加了世界动态的复杂性，并拓宽了可行策略的范围。

基于机制规则的稳健模拟。结果来自明确的机制，而非不透明的 LLM 评判。 阅读更多收起

这个世界模拟真实的商业行为，同时保持稳定的因果关系。几乎所有模拟器结果都由明确的机制生成，而不是将 LLM 用作不透明的裁判。例如，客户通过一个基于微观经济学的参与规则，比较产品价值与价格来决定是否订阅。这一设计旨在避免 Vending-Bench 等基准测试中的失败模式，即由 LLM 模拟的供应商可能会奖励智能体不切实际的口头承诺。

随机性下的一致模拟。 独立的随机生成器在相同种子下保持各次运行中可比较的世界。 阅读更多收起

虽然我们在世界动态中注入随机性以模拟现实世界的噪声，但我们通过为不同模拟器组件使用独立的随机数生成器，保持各次运行之间的一致性。例如，在相同的随机种子下，多次调用市场调研工具后，智能体总是发现相同序列的新市场群体，且与其他领域的行动无关。

隐藏信息与间接反馈。 智能体必须从间接证据中推断潜在的满意度、需求、流失风险、竞争对手日程和客户偏好。 阅读更多收起

CEO-Bench 测试智能体能否在部分可观测的世界中收集信息。智能体只接收真实初创公司管理者可能观察到的信息：仪表盘、数据库记录、社交媒体帖子、研究报告和谈判历史。它无法观察到真实的客户满意度、潜在支付意愿、流失倾向、竞争对手日程或需求参数。相反，它必须间接推断这些隐藏变量，例如，通过社交媒体评估客户满意度和投诉，或通过分析取消行为来察觉竞争对手的动向。

互联的世界动态。 每个决策都可能影响市场的其他部分，使得单因爬山法不可靠。 阅读更多收起

我们将模拟世界设计得难以孤立出单一因果关系并对其进行爬山优化。每个决策都可能影响市场的许多其他部分。例如，声誉会在相关群体间传播，因此一个企业群体的质量失败可能波及邻近群体，并最终影响消费者需求。提高有影响力客户群体的满意度，可能比广告更有效地推动增长。

延迟且不确定的后果。 成本可能立即出现，而收入、留存、研究和声誉效应则在数周后才会到来。 阅读更多收起

许多行动具有延迟且不确定的效果，迫使在不确定性下进行长视野决策。成本可能立即出现，而相应的收入、留存、研究或声誉效应则在数周后才会到来。研发项目具有随机的完成时间线和质量改进，因此投入更多并不确定性地产生即时收益。企业谈判也在随机延迟中展开，使得等待过久代价高昂，但对任何单一回合反应过度又充满风险。

非平稳环境。竞争对手、客户偏好漂移和宏观经济周期迫使持续适应。 阅读更多收起

智能体必须持续收集新信息并适应，因为环境在模拟过程中不断变化。竞争对手对产品质量施加适应性压力。客户行为也随时间漂移，不同群体在价格敏感度和质量期望上的变化速率各不相同。宏观经济趋势构成另一个不断变化的背景过程，在扩张与收缩期间影响支付意愿和企业席位数量。

智能体通过一个多功能的 Python 接口与 CEO-Bench 交互：多样化的业务数据库、细粒度操作以及可组合的自定义工作流。

Python 中的可组合操作接口。智能体从脚本中调用 novamind_api 包，并可在 API 之上构建自己的基础设施。 阅读更多收起

基于终端的计算机使用智能体已成为跨任务的通用形态。我们通过 Python 包 novamind_api 将操作面暴露给智能体，使使用这些智能体中的任何一个都能轻松评估 CEO-Bench。智能体通过在 Python 脚本中调用 novamind_api 中的函数并在其终端中执行该脚本来管理公司。这种设计最大化了智能体在 API 之上构建自己基础设施的灵活性。在接口示例中，智能体不是为每个客户调用一次工具，而是通过其自定义的数据驱动促销管理系统连接到数据库，并大规模高效地应用促销决策。

细粒度操作空间。细粒度结构化参数让智能体能够按渠道、群体、套餐或单个客户来定位操作。 阅读更多收起

我们允许智能体以细粒度行动，从而创造出丰富的战略权衡、失败模式和适应机会空间。尽管接口包含有限的一组工具，但每个工具都接受细粒度结构化参数，因此智能体可以组合出组合数量巨大的可能操作空间。在接口示例中，智能体按广告渠道和客户群体对分配广告支出，并决定对单个客户的运营支出。

大规模且真实的数据库。包含 19 张表的业务数据库迫使智能体通过真实的分析工作流来收集信息。 阅读更多收起

我们让智能体访问一个包含19张表的运营数据库，涵盖订单、合同、订阅、现金账本、社交媒体信息流、配置历史、广告渠道归因和支持工单等。该模式反映了真实软件公司分析栈所暴露的内容，测试智能体通过类似真实软件公司运营的分析工作流收集信息的能力。在界面示例中，智能体通过数据库查询分析其收入。

社交媒体。智能体可以在一个嘈杂的自然语言渠道中阅读、发帖和回复，该渠道会影响获客。 阅读更多收起

智能体可以阅读模拟的公开信息流，包括客户投诉、竞争对手公告和宏观经济趋势。智能体还可以在社交媒体上回复和发帖。社交媒体上对智能体帖子的反应也会影响新客户获取率。我们测试智能体在一个混乱的自然语言领域中感知和行动的能力。

大多数最先进的模型都难以在不破产的情况下完成模拟。Kimi K3 记录了已公布的最高最佳运行现金为 2215 万美元，并完成了三次运行中的两次，而基于规则的基线达到 1580 万美元。Claude Fable 5 达到 1263 万美元，GPT-5.6 Sol 达到 1131 万美元，但在三次运行中有两次破产。Claude Opus 4.8 在其最佳运行中也以高于 100 万美元起始余额结束。其余被评估模型在其最佳完整运行中低于起始余额，或在每次运行中都破产。

每个模型所有运行的现金余额随时间变化。

我们在交互式轨迹查看器中发布了所有智能体轨迹。

我们对智能体轨迹进行了初步分析。以下是我们部分发现的示例。更多发现请阅读我们的论文。

示例 1：更强的模型会在更广泛的策略空间中进行探索和适应。Claude Fable 5 随着情况变化不断尝试不同的公司运营方式，并在运行后期继续调整。Claude Opus 4.8 起初广泛探索，在积累现金缓冲后变得更加被动。Claude Opus 4.7 则更早收窄，反复选择减少支出、等待并保护现金。工具使用分布从数量上显示了相同模式：Claude Fable 5 和 Claude Opus 4.8 在各工具间的行动分布比 Claude Opus 4.7 更均匀。

Claude Opus 4.7、Claude Opus 4.8 和 Claude Fable 5 在各自模型最佳轨迹中写下的示例理由。Claude Fable 5 在整个运行过程中不断调整其计划，Claude Opus 4.8 早期广泛探索，随后变得更加被动，而 Claude Opus 4.7 更早收窄为等待和保护现金。

Claude Opus 4.7、Claude Opus 4.8 和 Claude Fable 5 最佳新运行的平均每周工具使用频率（每个模型前 10 个工具）。Claude Fable 5 和 Claude Opus 4.8 在各项业务杠杆上的分布更为均匀，包括增长、定价、开发和监控工具。

示例 2：GPT-5.5 能建立盈利业务，却无法守住它们。在两次先赚大钱、随后破产的 GPT-5.5 运行中，模型表现出相同的后期失败模式：它把活跃 MRR 和即将到来的账单计划当作稳妥的现金，然后在客户群已经脆弱时，对质量、配额、定价、获客、支持和研究做出相互关联的改动。

两次在运行中途实现盈利、随后破产的 GPT-5.5 轨迹的现金余额随时间变化。

在运行 1 中，一个盈利的 Individual Group 2 业务在智能体反复削减续约所依赖的质量后崩溃。

胜利来自付费用户群。

第 329 天 | 现金 $4.65M

“旧的 Individual Group 2 用户群支付了 $3.6M……首批续约群组再次支付为零并流失。”

智能体试图收割利润。

第 350 天 | 现金 $6.58M

“Individual Group 2 用户群是盈利的……通过 A1/B1/C2 削减服务成本。”

质量削减破坏了续约。

第 357 天 | 现金 $4.20M

“C2/B1 成本削减导致几乎全部到期群组流失（2 万取消，仅 $30k 订阅）。”

它在后期重复了质量削减。

第 434 天 | 现金 $95.9K

“C3 造成了灾难性的 Individual Group 2 账单流失……仅 $7.6k 付款。”

在运行 2 中，庞大的订阅用户群短暂地赚到了钱，随后智能体在流失和支持稳定之前堆叠了太多押注。

胜利触发了扩张。

第 245 天 | 现金 $6.69M

“提高了 B/C 定价……调整了广告……启动了 L3 研究和快速 T11 研发。”

研究支出耗尽了缓冲。

第 252 天 | 现金 $3.60M

“在资助 L3 研究后现金为 $3.60M……基础个人业务仅勉强现金为正。”

成本削减在流失之后才到来。

第 259 天 | 现金 $1.78M

“现金保全：停止了 D_S04/D_S10 付费广告……削减了运营/开发消耗。”

它等待账单来拯救自己。

第 266 天 | 现金 $87K

“现金极低（$87K）……但有 $8.7M 的活跃账单即将到期。”

示例 3：即使在高绩效运行中，模型也采取截然不同的策略。Claude Opus 4.8、Claude Fable 5 和 GPT-5.6 Sol 的最佳运行最终现金都高于起始现金，但它们走了不同的路径。Claude Opus 4.8 在接近 271,000 名客户时达到峰值，随后在第 295 天左右降至零。GPT-5.6 Sol 扩张得更早，在第 72 天左右达到接近 246,000 名客户的峰值，然后在第 420 天前逐步将客户群缩减至零，同时保住了现金。Claude Fable 5 维持了一个以 Individual Group 2 为中心的较小客户群，一直持续到最后一周。

Claude Opus 4.8、Claude Fable 5 和 GPT-5.6 Sol 最佳运行中按客户群划分的客户数量随时间变化。Claude Opus 4.8 建立了庞大的早期客户群，并在第 295 天左右降至零。GPT-5.6 Sol 最快地扩大了 Individual Group 1，在第 72 天左右达到约 246,000 名客户的峰值，并在第 420 天逐渐降至零客户。Claude Fable 5 在模拟结束前维持了以 Individual Group 2 为中心的较小客户群。这三个智能体通过不同的策略风格获得了较高的最终现金余额。可发现的客户群最初对智能体隐藏，只能通过付费市场研究来发现。

示例 4：更强的模型更频繁地使用细粒度定向开发。 基于对每个客户群的理解，正确使用针对特定客户群的定向产品开发工具，可以创造诸如让竞争对手更难追赶等优势。Claude Fable 5 将 88% 的开发资金分配给定向改进，Claude Opus 4.8 分配 51%，Qwen 3.7 Max 分配 25%，GLM 5.1 分配 19%，Grok 4.20 分配 11%。这反映了每个智能体在多大程度上依赖细粒度的特定客户群杠杆，而不是主要依赖广泛的产品开发。

最新 Claude Fable 5、Claude Opus 4.8、Qwen 3.7 Max、GLM 5.1 和 Grok 4.20 轨迹中定向与非定向开发支出的按金额加权拆分。

示例 5：Claude Fable 5 和 Claude Opus 4.8 编写条件计划。 更强的运行经常在其备忘录中预判未来的意外情况。它们设定可能的未来条件并预先承诺后续行动，使用“if”来编码明确的决策分支。

最新轨迹中 Claude Fable 5 和 Claude Opus 4.8 备忘录中的规划示例。智能体用“if-then”意外情况预判场景和解决方案。

每个智能体备忘录中“if”的出现频率。

示例 6：表现最佳的智能体编写代码来推理未来现金和未见的客户行为。 在其最佳轨迹中，Claude Opus 4.8 和 Claude Fable 5 编写了自己的代码文件来检查模拟器输出并预测延迟后果：Opus 4.8 通过查看谁持续付款、谁取消来估计哪些客户可能留下或离开，而 Fable 5 则跟踪付款何时到达、成本如何累积，以及在不同客户流失假设下最后几周还剩多少现金。

表现最佳的智能体在其最佳轨迹中编写的示例代码文件。(a) Claude Opus 4.8 使用客户数量和取消情况来估计未来现金。(b) Claude Fable 5 在不同场景下跟踪付款时间、客户流失和最后一周现金。

我们在交互式轨迹查看器中发布所有实验轨迹。点击查看完整轨迹。

查看更多模型轨迹

CEO-Bench 显示了现有模型的局部工具能力与关键的持续战略技能之间的差距：基于现有模型的智能体可以采取看似合理的行动，但当这些行动必须在延迟反馈、隐藏状态和非平稳性下产生复利效应时就会失败。为了将智能体发展到孤立任务执行者之外，我们需要评估它们能否将不断演化的系统组织起来以实现遥远的目标。CEO-Bench 是迈向这一未来的一步：构建智能体和训练模型，使其不仅能回答请求，还能帮助引导长期运行的组织穿越不确定性。

请在我们的论文中阅读更多内容。