技术博客 Wandering Thoughts 因 LLM 爬虫滥用全面封禁 AI 智能体
All practical general use firewalls are porous now for inbound traffic
技术博客 Wandering Thoughts 已对所有 AI 智能体及 LLM 爬虫关闭访问，原因是 LLM 爬虫的"大量滥用"。站长 Chris Siebenmann 表示，被拦截的访问者若 User-Agent 出现在 ai.robots.txt 中，可联系该 GitHub 仓库运营者申请豁免，但他本人对单独豁免特定 User-Agent 兴趣不大。
你看到这个的原因之一是你的 User-Agent 出现在 ai.robots.txt 中。由于 LLM 爬虫的大量滥用，Wandering Thoughts，我的技术博客，不再对这类代理或任何与之过于相似的东西开放。
如果这是误判，你可以联系上述 Github 仓库的运营者，让你的 User-Agent 获得豁免，然后等我拉取更新。我可能对专门豁免你的 User-Agent 不感兴趣，但如果你一定要，可以通过 我在大学的当前所在地 联系我（你应该能从中推断出电子邮件地址）。
你看到这个的另一个原因是你正在使用（或本身就是）一个试图抓取内容的 AI 代理。我屏蔽所有 AI 代理，无论其背后是否有人，原因多种多样，包括 AI 代理是一个极其滥用过程的产物（参见“LLM 爬虫的大量滥用”）。AI 代理没有任何合乎伦理的用途，我也不有兴趣帮助那些不关心其所用工具伦理的人。
如果你实际上没有使用 AI 代理，而我的 User-Agent 匹配错误识别了你正在使用的东西，你可以联系我，并提供你程序的具体 User-Agent。另请参阅 我关于过于通用的 User-Agent 标头的页面。
Chris Siebenmann, 2026-02-13
来源：Hacker News · utcc.utoronto.ca