Cloudflare 数据分析：Yandex 断网后恶意机器人并未消失而是迁移
Yandex outage: data shows that instead of going dark, malicious bots moved
Cloudflare 基于 Radar 与 Bot Management 数据分析了 10 月 7 日至 11 日 Yandex 数据中心遭袭后的流量变化，发现 Yandex Search（AS13238）与 Yandex.Cloud（AS200350）两个 ASN 受影响方式不同。
在有报道称 Yandex 数据中心遭到袭击后，互联网上流传着俄罗斯机器人农场和影响力行动已陷入瘫痪的说法。HTTP 流量图表显示流量急剧下降，助长了基础设施受损已阻止这些恶意行为者的猜测。然而，聚合流量指标很容易产生误导。与 Yandex 相关的有两个自治系统编号（ASN）：AS13238 由 Yandex 的搜索引擎使用，而 AS200350 则运营其云服务。
利用 Cloudflare Radar 和 Bot Management 数据，我们分析了这两个 ASN 受到的影响——虽然两者的流量都出现了下降，但影响程度不同。
- Yandex Search（AS13238）： 流量下降几乎完全由经过验证的搜索爬虫构成，这些爬虫在为网页、图片和站点资源建立索引。
- Yandex.Cloud（AS200350）：漏洞扫描和探测等恶意活动有所减少，但大规模自动化并未消失——它只是转移到了其他托管服务提供商。
虽然恶意流量可能源自某个特定提供商，但这并不一定告诉我们谁应对该流量负责。要理解为何袭击对恶意流量几乎没有持久影响，需要分析请求行为，而不仅仅是整体流量模式。
发生了什么：袭击的影响与事件前基线
10 月 7 日至 11 日期间，据报道乌克兰无人机袭击了俄罗斯境内的三处 Yandex 设施，逐步使数据中心和网络容量下线。正如在 Cloudflare Radar 上所看到的，这最终导致 Yandex 网络在 10 月 11 日近乎全面崩溃，Yandex Search（AS13238）的流量暴跌至基线以下 99%，Yandex.Cloud（AS200350）则下降 90%。尽管有过短暂的部分恢复，两个网络在 10 月 13 日之前一直处于中断状态，稳定在低于正常基线 86-90% 的水平。（截至 10 月 14 日 18:00 UTC，流量为正常水平的 85%。）
整体 HTTP 流量的下降只能证实网络已瘫痪。它并不能揭示恶意或规避型机器人是否受到了干扰。查看事件前的自动化基线，我们可以看到，在袭击之前，自动化请求占 Cloudflare 全球网络所观测到的所有 HTTP 流量的 36.1%，占来自俄罗斯 IP 地址的流量的 35.8%。
此次中断对两个受影响 ASN 上的自动化活动产生了不同影响，因为它们承担着不同的角色。
Yandex Search ASN（AS13238） 用于搜索索引抓取。Cloudflare 将其 99.5% 的请求归类为自动化请求，并将其 93.6% 的机器人请求归类为已验证。我们的分析显示，来自该 ASN 的流量在为页面、渲染页面和渲染图片建立索引，这与搜索爬虫的行为一致。Yandex Search ASN 提供了约 7% 的源自俄罗斯的机器人请求，仅占全球总量的 0.05%。
Yandex.Cloud ASN (AS200350) 是一个云托管网络，承载着非常不同的自动化流量组合。其被评分的请求中约 95.0% 是机器人，但观察到的机器人请求均未通过 Cloudflare 验证。Yandex.Cloud 的机器人更像软件应用：近三分之二的请求向网站发送数据，部分自称是 JavaScript、Python 或 Go 程序，且流向软件公司的比例高于 Yandex 的搜索机器人。Yandex.Cloud ASN 贡献了约 2% 的俄罗斯来源机器人请求，仅占全球总量的 0.01%。
事件对整体机器人流量的影响
"机器人流量"指对 Cloudflare 网络上网站的自动化请求，如爬虫和脚本，不一定是社交媒体平台上的活动。随着 Yandex 网络失去容量，其机器人请求也下降了。这在意料之中：来自 Yandex Search 和 Yandex.Cloud 的几乎所有流量都是自动化的。虽然我们看到总流量明显下降，但未发现任何证据将恶意流量的全球性中断与 Yandex 流量下降联系起来。
俄罗斯来源的机器人请求下降幅度大致与 Yandex 离线流量成比例，因为这些网络的多数请求都是自动化的。
日期 UTC+3 | 全球机器人请求 | 俄罗斯来源机器人请求 |
10月1-6日：事件前基线 | ||
10月7-8日：萨索沃无人机袭击 | 39.2% (−0.2%) | 48% (-2.4%) |
10月9日：卡卢加无人机袭击 | 39.4% (+0%) | 42.5% (-7.9%) |
10月11日：弗拉基米尔无人机袭击 | 39.5% (+0.1%) | 42.2% (−8.2%) |
10月12日 | 39.6% (+0.2%) | 43.6% (−6.8%) |
10月13日 | 39.5% (+0.1%) | 42.1% (−8.3%) |
* Radar 报告全球流量时同时统计总 HTTP 请求和 HTML 请求（近似页面浏览量）。上表反映的是总请求量。
对 Yandex Search ASN (AS13238) 的影响：搜索爬取减少
Yandex Search ASN 的下降几乎全是搜索爬取。抽样请求显示，78.1% 属于已验证的 YandexBot，11.5% 属于 YandexRenderResourcesBot，1.9% 属于 YandexImages。
在网站和服务中，下降最陡的行业是出版和报纸，来自 Yandex 网络的流量下降了 44%。事件前，来自该 ASN 流向新闻网站的流量约 90% 是 YandexBot 索引文章，40.5% 的 Cloudflare 客户返回 HTTP 403 Forbidden 响应，因为网站所有者屏蔽了爬虫。当 Yandex Search ASN 离线时，客户只是看到来自 Yandex 的索引减少。
对 Yandex.Cloud ASN (AS200350) 的影响：合法使用与恶意流量迁移
Yandex.Cloud 呈现出完全不同的情况。据报道的袭击后，来自 Yandex.Cloud 的机器人流量下降了约 40%。几个类似攻击的类别下降尤为明显。例如，WordPress 插件探测下降了 90%，扫描器识别的请求下降了 93%。有趣（且能说明问题）的是，事件期间 Cloudflare 客户对 Yandex.Cloud 流量的屏蔽也下降了 70%，表明来自该 ASN 的恶意流量到达 Cloudflare WAF 的比例也相应减少。
对业务垂直领域的影响
按请求目的地主要行业细分时，Yandex.Cloud 的机器人流量也很有趣：
目的地行业 | 事件前机器人流量 | 事件期间机器人流量（10月7-13日） | 变化 | 4xx（客户端错误）HTTP 响应状态占比：事件前 → 事件期间 |
计算机软件 | 24.24M | 15.18M | −37.4% | 18.5% → 15.9% |
赌博 | 23.01M | 18.80M | −18.3% | 99.1% → 99.3% |
媒体（含成人） | 1.33M | 223.1K | −83.3% | 82.0% → 61.8% |
互联网和电信 | 524.2K | 206.5K | −60.6% | 71.4% → 51.1% |
旅游/观光 | 363.9K | 158.1K | −56.6% | 27.0% → 12.3% |
零售/批发 | 316.0K | 167.7K | −46.9% | 71.0% → 55.9% |
游戏/电脑游戏 | 226.3K | 63.2K | −72.1% | 51.4% → 9.2% |
出版 / 报纸 | 90.8K | 8.8K | −90.3% | 90.2% → 61.4% |
来自 Yandex.Cloud ASN 的大部分流量落入两个行业类别：计算机软件和赌博。对于旨在托管第三方应用程序和软件集成的 ASN 来说，计算机软件类别是可以预见的。事实上，我们甚至看到 api.cloudflare.com 是 Yandex.Cloud 请求流量的主要主机名。其中绝大多数流量在事件发生前和事件期间都成功（请求返回 200），表明是合法使用。
赌博行业提供了最清晰的证据，表明恶意自动化是转移了而非消失了。Yandex.Cloud 的机器人请求几乎全部针对一个赌博客户账户，流量在其主机名之间转移。10 月 8 日中断发生后，来自 Yandex.Cloud 对该账户的机器人请求立即降至零。与此同时，相同的请求开始从其他俄罗斯托管 ASN 出现，包括 Radist 和 Selectel。来自不同提供商的传入流量保持着相同的指纹：
- 相同的 JA4 TLS 客户端指纹
- 相同的不常见请求路径和 HTTP 标头
- 相同的自定义 User-Agent 字符串
总体而言，针对赌博账户的俄罗斯机器人流量在一周内基本持平，从 1.677 亿次请求变为 1.701 亿次请求（+1.4%）。自动化从未停止运行；一旦 Yandex.Cloud 不可用，运营者只是将其工作负载迁移到了其他云提供商。
在大多数行业中，来自 Yandex.Cloud 的机器人请求返回任何 HTTP 4xx 响应的比例都有所下降。这主要是由于上述类似攻击的流量减少。这一点，结合赌博客户分析，表明通过 Yandex.Cloud 发送请求的恶意流量在服务中断后只是将其“服务”转移到了其他提供商。
最后，当我们分析社交媒体流量时，我们发现无论是来自俄罗斯来源 IP（事件期间总流量下降 0.6%）还是全球范围（事件期间总流量增加 1.2%），流量都没有意外变化。我们对针对特定社交媒体平台的“发帖”、“回复”和“点赞”端点的机器人流量重复了分析，同样没有发现事件前或事件期间来自俄罗斯来源 IP（事件期间总流量下降 5.7%）或全球范围（事件期间总流量增加 1.1%）的意外变化。根据我们的评估，数据似乎并不支持这些打击重创了社交媒体操纵的说法，不过如果没有 Cloudflare 之外数据的进一步分析，我们无法断言二者之间没有关联。
数据告诉了我们什么——以及没有告诉我们什么
当来自 Yandex 网络的流量崩溃时，互联网上充斥着各种猜测，认为俄罗斯的影响力行动和恶意僵尸网络遭受了毁灭性打击。Cloudflare 的数据讲述了不同的故事：在 Cloudflare 的整个网络中，没有证据表明这些打击使社交媒体操纵下线，或以其他方式扰乱了互联网上的恶意活动。相反，数据表明：
- 搜索索引下降。 从 Yandex Search ASN 下降的绝大多数流量由经过验证的 YandexBot 爬虫组成，它们在抓取新闻文章和网络资源。主要影响是 Yandex Search 中的内容发现减少。
- 恶意自动化并未停止，而是转移了。 虽然漏洞扫描和插件探测在 Yandex.Cloud 上暂时减少，但大规模操作迅速转移到了其他托管网络。
网络中断意味着特定服务器停止发送请求，但这并不意味着自动化威胁消失了。云工作负载具有可移植性，因此当数据中心宕机或 IP 前缀被封锁时，运营者可以在数小时内将脚本迁移到另一家提供商。
我们此处的分析提醒我们，客户端 ASN 流量规模是解读自动化机器人行为的不可靠代理指标。 防御自动化威胁需要检查请求行为，例如识别共享的 JA4 指纹、监控异常请求速率，并对敏感端点应用 WAF 规则，无论请求源自哪个网络。物理基础设施是静态的，但恶意自动化天生就会移动。
来源：Hacker News · blog.cloudflare.com