Crawlable 审计 50 个顶级网站：AI 爬虫可读性平均仅 55 分，无一达 A 级

主要发现

• AI 可读性平均分

  中位数 55。没有网站达到 A 级（90 分以上）；46 个网站中有 43 个得分低于 70。

• 没有符合规范的 llms.txt

  11 个网站未提供；21 个提供的文件被我们的验证器拒绝，其中 8 个是 Shopify 自动生成的默认文件。

• 交付空 JavaScript 外壳

  46 个网站中有 14 个至少有一个受审计页面以空壳形式提供，文本仅在 hydration 后才到达。

• robots.txt 中未指定任何 AI 爬虫

  没有网站屏蔽 OAI-SearchBot 或 PerplexityBot。问题在于沉默，而非屏蔽。

按队列的得分

我们能够测量的每个队列中网站的平均总分（满分 100），以及构成总分的四大支柱。

YC 和高增长初创公司

17 个中测量了 16 个

43.1/100

主要 SaaS 和科技公司

17 个中测量了 16 个

59.2/100

电子商务和 DTC 品牌

16 个中测量了 14 个

52.4/100

分数在哪里丢失

所有 46 个测量网站在每个支柱上的平均得分，对比可用最高分。

原始 HTML 可读性

满分 35

26.2/35

Schema 深度

满分 25

17.7/25

上下文架构（llms.txt）

满分 20

6.3/20

爬虫治理

满分 20

2/20

关键要点

1. 爬虫规则沉默，而非敌对

没有一个测量网站阻止 OAI-SearchBot 或 PerplexityBot 访问其主页。2 个网站阻止了另一个答案引擎爬虫（Amazonbot）。更大的模式是，46 个网站中有 36 个完全没有指定任何 AI 爬虫，因此每个机器人都会回退到通用的 * 规则。除非这些规则阻止它们，否则它们会被放行，但这并未表明任何意图：对搜索爬虫和训练爬虫没有单独决策，而 Crawlable 的治理支柱对此评分为 0 分（满分 20）。将检索机器人和训练机器人分组命名只需几行代码。平台指南中有代码。

2. 大多数网站有 llms.txt；其中大多数不符合规范

14 个网站提供的 llms.txt 通过了 Crawlable 的验证器：一个 # 标题、一个 > 摘要、## 个部分，以及每个链接后带描述的绝对链接。46 个网站中有 35 个提供了文件；21 个提供的文件至少缺少其中一项，最常见的是摘要行或链接描述，11 个未提供。8 个未通过的文件是 Shopify 自动生成的“Agent Instructions”，自 2026 年 5 月起每个商店都默认提供：它记录的是购物代理的结账端点，而非映射目录。商店可以用主题模板替换它；Shopify 指南展示了如何操作。

3. 空 JavaScript 外壳：46 个网站中有 14 个

46 个网站中有 10 个获得了完整的 35 分可读性得分。在未获得的 36 个中，22 个完全没有空页面，因页面过短或标记过多而失分。但 46 个网站中有 14 个至少有一个受审计页面以空 JavaScript 外壳形式提供，文本仅在浏览器运行应用后到达。在检测为 Next.js 的 26 个网站中，11 个至少有一个这样的页面。极端案例是 v0.app，40 个受审计页面中有 37 个是空壳。Next.js 指南展示了常见原因（页面挂载后获取内容）及修复方法。空壳的代价超过其自身页面：渲染门槛将 4 个网站的上限限制在 64 分。

4. Schema 深度：46 个网站中有 27 个完整

46 个网站中有 27 个包含完整的丰富实体，例如带有 offer 的 SoftwareApplication 或带有作者的文章，并获得全部 25 个 schema 分数。46 个网站中有 12 个除了 Organization 或 WebSite 标记之外什么都没有，或者根本没有有效的 JSON-LD。

每个网站，每个支柱

分数以 2026 年 10 月 11 日为准。网站会变化；今天重新扫描可能有所不同。标记为“无法测量”的行直接拒绝了我们的爬虫，因此没有分数。

我们如何测量

• 每个域名都通过 Crawlable 的生产审计引擎（提交 5857303，评分 v2）运行，与客户审计使用的是同一套代码，时间为 2026 年 10 月 11 日。没有任何内容是通过人工评分的。
• 每个网站最多 40 个页面，从站点地图或首页链接中选择，时间预算为 45 秒，每次 5 个网站。每个页面只抓取一次，以原始 HTML 形式，不运行 JavaScript。
• 请求标识为 CrawlableBot/1.0 (+https://usecrawlable.com/bot; AI-readability auditor)，来自一台云服务器。有 4 个网站（perplexity.ai、canva.com、liquidiv.com、bombas.com）以机器人挑战或错误页面拒绝了该爬虫，因此它们被列出但排除在所有平均值之外。这并不能说明这些网站如何对待经过验证的 AI 爬虫，后者来自其运营方自己的网络。
• 评分是四个支柱的总和：原始 HTML 可读性（35）、schema 深度（25）、llms.txt（20）和爬虫治理（20），当页面以空 JavaScript 外壳形式到达时上限为 64。Robots 规则针对首页路径进行了评估。
• 原始列表中的两个域名已更正（bombas.com、rothys.com）。裸域名将我们的爬虫重定向到 us.checkout.gymshark.com，因此审计的是 www.gymshark.com 上的店面。
• 完整的按域名数据，包括验证器拒绝每个 llms.txt 的原因，都在 CSV 和 JSON 中。