Hacker News· birdculture·· 9 天前AI 评分8
博主用 robots.txt 与 meta 标签让 Google 完成去索引
I've Been Deindexed by Google
AI 导读
一位博主今年早些时候决定不再让搜索引擎索引自己的网站，先设置 robots.txt 全站 disallow，等待数周无效后又加上 robots meta 标签，并特意允许 Googlebot 抓取以读取该标签。最后一次调整距今至少 3 个月，他今日确认网站已被 Google 去索引。
正文 · AI 翻译
Citron
2026年10月7日
我不太记得具体是什么时候了，但今年早些时候，我决定不再让这个网站被搜索引擎收录。这在很大程度上与 AI 以及如今困扰互联网的无休止抓取有关。我知道，只要我的博客还能被公共互联网访问，我就没有什么真正能阻止它的办法，但至少其中一部分会被尊重。
我一开始在 robots.txt 里设置了全面禁止。
User-agent: * Disallow: /
当我等了几个星期并检查后，意识到那没有任何作用时，我设置了 robots meta 标签。
<meta name="robots" content="noindex, nofollow" />
我以为那样就能奏效。我没有意识到的是，讽刺的是，你必须实际上允许那个执行取消收录的机器人访问你的网站，这样它才能看到那个告诉它不要再收录你页面的 meta 标签。
User-agent: Googlebot Allow: / User-agent: * Disallow: /
我也对几个其他常见的机器人做了同样的处理，并且每当我发现我的网站已被取消收录时，就把它们从 robots.txt 中移除。
距离我上一次做出让 Google 取消收录我的更改已经至少 3 个月了，今天检查之后，我很高兴地宣布，这个网站已经摆脱 Google 了！🥳
来源：Hacker News · kennyqin.com