跳到正文
arXiv cs.AI· Mika Siddiqui, Tharaka Perera·· 4 小时前AI 评分38

RehearsalBench:AI 能否预测企业运营变更的后果?

RehearsalBench: Can AI Predict What Happens When You Change a Company?

AI 导读

研究者推出 RehearsalBench 基准,用于衡量 AI 模型能否诊断运营、选择干预并预测后果。10 个模型在 14 个组织上做了 280 次尝试,最佳模型 GPT-6 Astra 相比不做改变将无变更成本改善 6.8%,预测误差比"始终预测无影响"的预测器低 77%。12 个模型对 33 项真实组织变更的预测排名与真实结果排名一致(Spearman ρ = 0.92)。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:组织越来越多地询问 AI 系统:如果改变运营方式会发生什么——哪些工作应自动化、哪个团队应缩减规模、语音代理会如何影响等待时间。我们推出 RehearsalBench,这是一个衡量 AI 模型能否诊断运营、选择干预措施并预测其后果的基准。每个模型被置于一个模拟的银行呼叫中心中,该中心根据真实通话级记录拟合而成,模型只能看到管理者会看到的信息,并提交一份计划与预测,随后这些内容会在 200 个预设未来和三个合理的组织版本中推演。决策按利益相关者声明的估值以美元计分;预测则按每项变更相对于不作为的效果计分。十个模型在 14 个组织中共进行了 280 次尝试。最佳模型 GPT-6 Astra 相比不作为,将无变更成本改善了 6.8%,且预测误差比始终预测无效果的预测器低 77%。平均而言,每个模型都正确预测了每个指定效应的方向,但模型在相同效应的幅度上朝同一方向出错,将语音代理对重复联系的影响高估了约五倍。当不作为是正确选择时,没有任何模型建议暂缓行动。为检验外部效度,十二个模型预测了 33 项结果已知的真实组织变革。在事先固定的判定规则下,该基准的预测排名与真实世界排名一致(Spearman $\rho = 0.92$,95% 下界 0.50)。我们报告这一结果的同时,也报告了一项无定论的首次测试、在看到结果后做出的分析选择,以及表明部分一致性反映了模型对其不确定性量化程度的证据。
学科: 人工智能(cs.AI)
引用为: arXiv:2611.22480 [cs.AI]
  (或 arXiv:2611.22480v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22480

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Tharaka Perera [查看邮箱]
[v1] 2026年11月17日星期二 09:38:01 UTC(71 KB)

来源:arXiv cs.AI · arxiv.org