Deliveroo 如何将 AI 流失预警减少 90%：随机对照实验能否证明留住商家？

6 分钟阅读

Deliveroo 的流失模型虚惊一场。现在，一项随机留出测试将验证更精准的名单是否有效。

Deliveroo 的留存系统内部存在一个留存问题。其模型旨在捕捉可能离开平台的餐厅，但它发出的警告太多，以至于本应处理这些警告的人根本无法处理完整个名单。

增长团队对这种失败再熟悉不过了。一个评分在仪表盘上看起来很有用，却让运营队列变得更糟。当几乎每个账户看起来都十万火急时，留存经理仍然无法回答下一个该给谁打电话。

在 2026 年 9 月 22 日发布的一篇第一方工程博客中，Deliveroo 的数据科学家兼经济学家 Firat Yaman 描述了该公司如何围绕一种稀缺资源重建了该系统。这种资源就是其餐厅客户经理和留存团队的时间。

旧模型优化了错误的稀缺资源

Deliveroo 连接消费者、骑手以及餐厅、杂货和零售合作伙伴。餐厅流失之所以重要，是因为平台已经花费了时间和金钱来寻找和入驻每个合作伙伴。可避免的流失还会缩小顾客可选择的商家范围。

此前的系统会监测餐厅的绩效统计数据，并标记出与后来流失的合作伙伴相似的账户。Deliveroo 表示，该系统是刻意为了高召回率而构建的，也就是说，它试图捕捉大多数有流失风险的餐厅。

然而流失是罕见事件。捕捉几乎每一个潜在案例意味着产生大量误报的流失警报，队列的增长超出了留存团队的处理能力。每一次给健康餐厅打电话都带有机会成本，因为客户经理本可以改为致电真正脆弱的合作伙伴。

增长的约束在于可用的干预能力。

替代的流失预测模型会为每家餐厅估算一个概率，对账户进行排序，并应用一个可调整的阈值。Deliveroo 可以移动该阈值，使警报数量与其团队实际能够调查的数量保持一致。

这种调整听起来微不足道，但它改变了系统的目标。团队不再问模型能捕捉多少最终会流失的餐厅，而是问名单顶部是否包含足够的真实风险，以证明每次联系都是值得的。

Deliveroo 在确定队列优先级时还会权衡餐厅对业务的更广泛重要性。Yaman 对特征、权重公式和干预能力保密，因此其他平台无法根据这篇文章重建该评分系统。可复制的杠杆更简单：根据团队每周的处理能力设定警报阈值，然后衡量每一次误报的机会成本。

预测未来流失会引发数据泄漏。当来自较晚时期的信息渗入训练或参数选择时，模型可能看起来仍然准确。

Deliveroo 使用了滚动窗口交叉验证。每种配置都在历史观测数据上训练，并在较晚的时期上进行验证。团队还选择了精确率而非召回率，因为餐厅流失并不频繁，且外呼能力有限。

为了可解释性，该流水线会计算 Shapley 值——这种方法能显示每个输入对预测结果的上推或下拉贡献有多大——并呈现出对每个预估流失概率贡献最大的特征。该模型每周在 Argo 流水线（一种调度自动化作业的工作流工具）中运行，并将风险评分及支撑信息发送给内部用户。

这在日常工作中很重要。一个概率可以决定谁进入队列，而一个解释则能帮助客户经理准备沟通。文章并未说明展示该解释是否能提升外联质量。

Deliveroo 报告称，离线测试将标记出的餐厅数量减少了 90% 以上，并将精确率提高了八倍。召回率如预期般下降。该公司认为这一取舍是合理的，因为其团队无法对旧系统产生的大得多的池子采取行动。

这些是公司报告的分类结果，并未证明该系统挽救了餐厅。Deliveroo 未披露模型的绝对精确率、召回率、样本量、评估期和置信区间。八倍的提升可能始于一个很低的基数，而即使剩余的干预措施并未改变行为，更少的警报也可能看起来高效。

这正是留存外联实验成为这项工作中更重要部分的原因。

Deliveroo 正在将新模型标记出的餐厅随机分配到处理组和对照组。留存团队和客户经理会看到处理组的警报。对照组的警报则保持隐藏。所陈述的假设是，被处理的餐厅流失率会更低。

这一比较测试的是整个流水线。预测、优先级排序、人工跟进以及向合作伙伴提供的行动方案都包含其中。它无法分离出是哪一部分产生了任何观察到的效果，但它回答了留存负责人首先需要回答的业务问题：与放任同类风险账户不管相比，该系统是否降低了流失？

对照组还为 Deliveroo 提供了对校准更清晰的检验。由于这些餐厅不会收到由警报驱动的干预，团队可以在处理组不影响结果的情况下，将它们的预测流失概率与实际观察到的流失进行比较。

截至发稿日期，该实验仍在进行中。Deliveroo 尚未报告其持续时间、受众规模、市场覆盖范围、外联话术或结果。因此，任何声称该模型降低了流失的说法都为时过早。

增长团队无需复现 Deliveroo 的机器学习技术栈，也能运用这一运营经验。从决策队列开始。统计团队能够对多少条警报采取行动、有多少条被证明有用、有多少条挤占了更高价值的工作，以及所采取的行动是否推动了业务所关注的指标。

假设一个模型产生 1,000 条警报，但团队只能调查 100 条。在全部 1,000 条上优化召回率解决的是错误的问题。排序、可调整的容量阈值以及随机留出组，使该系统能够从业务角度接受审计。

Deliveroo 的案例也标志着预测与增长之间的分界线。餐厅流失预测可以显示风险所在。只有受控干预才能将准确的评分与留存联系起来，因为仅凭评分无法证明风险是可预防的，也无法证明公司选择了正确的应对措施。Matas 在休眠忠诚度订阅用户上进行了类似的留出测试，而 Wantedly 发现候选人排名提升几乎未能改变流失率。

在我们的增长信号指数中比较更多 AI 实验的证据和运营经验，或在行业内容实验室中浏览基准测试工具。