我在 Reddit AMA 上谈网络爬虫法律问题

周五，我在 r/WebScrapingInsider 子版块做了一场关于网络爬虫法律的 Reddit AMA。你可以在此查看完整讨论。

我发布了一篇 AMA 介绍，现分享如下：

__

大家好，感谢参加这场关于网络爬虫的 Reddit AMA！我想先做一些开场说明会有所帮助。

首先，也是最重要的一点，提醒一下基本规则。本次 AMA 中的任何内容都不构成法律建议。我会讨论一些一般性的法律原则，但我无法就这些原则如何适用于你的具体情况发表意见。此外，我们将讨论的许多话题都存在争议，每个人对法律风险的容忍度也各不相同。在你做出任何决定之前，你需要与律师谈谈法律如何适用于你的具体情况，以及你愿意接受何种程度的法律风险。

另外，正如 Ian 提到的，我关注的是美国法律。美国以外的规则可能大不相同！

关于我的一些背景：我是一名资深互联网法律专家。我在 1991 年获得了第一个电子邮件账户，1993 年发表了我的第一篇互联网法律论文，1994 年开始从事互联网法律实务，1996 年开始教授一门互联网法律课程——30 年后的今天我仍在教授这门课。自 2002 年以来，我一直是一名全职法学教授。

作为一名在 1990 年代形成学术认同的互联网法律专家，我仍然以通才的方式对待互联网法律，这在当时是常态。我并不专注于互联网法律的某一个话题。相反，我仍然跟踪和关注数十个互联网法律话题。爬虫/动产侵害原则只是我整体兴趣组合中的一个子集。你可以在 https://papers.ssrn.com/sol3/cf_dev/AbsByAuth.cfm?per_id=332758 查看我的学术著作。我其他一些学术重点包括用户生成内容（UGC）责任/第 230 条、在线商标法和表情符号法。我即将出版的书籍项目将探讨互联网的利社会效益以及法律监管如何危及这些效益。

尽管我以通才为导向，但我发现爬虫法律尤其有趣。我大概在 1997 年左右收到了第一个关于爬虫的客户问题。在我担任企业内部法律顾问期间，爬虫是一个常青话题。我在互联网法律课程中经常就爬虫进行测验。例如，今年的期中考试就是基于 Vox Marketing Group v. Prodigy Promos，556 F. Supp. 3d 1280 (2021)。

* * *

我觉得这个话题如此引人入胜的部分原因在于，从政策角度来看，我对爬虫有着复杂的感受。

一方面，我认为财产所有者通常应该有能力决定其财产如何使用。爬虫可能涉及对财产所有者财产的不受欢迎且未经同意的使用，其方式可能是有害的。

另一方面，我信奉信息获取。（我妈妈是一名图书管理员）。在爬虫能够带来更好的洞察、更好的知识和更强的市场这一范围内，它是一种社会效益。

此外，互联网的成功部分归功于其无缝、低摩擦、低交易成本的导航。为了保持这种架构，浏览互联网应该是一种无需许可的体验。反爬虫原则有可能将网页浏览转变为一种需要许可的体验，在每个网站的边界都设有检查站，访问需要获得许可。这些障碍有可能破坏互联网的可导航性和实用性，从而使我们所有人处于不利地位。

[注：动产侵害原则只是服务对网络浏览施加许可访问的一种方式。版权法是另一种。还有一种是正在席卷全球的在线年龄验证强制要求。关于我对年龄验证强制要求的反对意见，详见 https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5208739 一个显而易见的观点：如果年龄验证检查点在互联网上变得无处不在，那将对抓取产生重大影响，因为大多数内容都将存在于年龄验证墙之后]。

我从未完整写下过我对这些话题的复杂想法，但这篇文章能让你了解我的思路。https://blog.ericgoldman.org/archives/2013/04/rethinking_onli.htm

以下是我为学生构建的一些关于抓取的政策考量框架：

有利的一面：抓取可以催生具有重大社会效益的服务，例如搜索引擎、比价机器人和AI模型构建。此外，反抓取行为往往具有反竞争性质，即意图制造或维持垄断。尤其是，反抓取策略可能代表着一种获取类知识产权权利的尝试，即使该服务并不符合知识产权保护的条件。你可以在 Register.com 诉 Verio 案中看到其中一些动态，在该案中，Register.com 利用合同和动产侵害来保护不受版权保护的材料（WHOIS 注册人联系信息），以维持其对该联系信息的先发优势控制。

不利的一面：抓取可能看起来像 DOS 攻击（无论有意与否）。它可能助长大规模复制，包括可能的版权侵权。而且抓取可能构成对消费者隐私的大规模侵犯。

那么，从政策角度来看，抓取是好事还是坏事？¿Por qué no los dos？：或者，用法律行话来说，“视情况而定。”

* * *

至于抓取的法律，那是一片混乱，尤其是动产侵害原则（我将其简称为“TTC”）。大约二十年来，我一直在教授 Intel 诉 Hamidi 案和 Register.com 诉 Verio 案。到了2024年左右，我觉得这些案件已不再反映当前的法律状况，于是遗憾地将它们从我的《互联网法》案例书中删除。[关于该案例书的更多信息，见 https://blog.ericgoldman.org/archives/2026/07/announcing-the-2026-edition-of-my-internet-law-casebook.htm] 我尚未找到合适的替代案例加入案例书，因此我的案例书对该主题的覆盖目前处于漂泊状态。我现在教授 X 诉 Bright Data 案的裁决（第一个批准驳回动议的裁决），但这并不令人满意。因为没有好的单一案例或案例组来教授该主题，而且法律如此不确定，我告诉我的学生这个主题已经变得“无法教授”。你能想象他们听到这话有多喜欢 LOL。

我教学生通过一个四步流程来判断动产侵害是否/如何适用：

Step 1：原告是否拥有受影响的动产？通常，动产是指用于运行服务器并将其连接到互联网的服务器或其他物理硬件。动产侵占原则很好地说明了物理空间法律与虚拟环境中发生的活动之间的相互作用。学生们有时很难理解有形物品（即“动产”）与无形物品（如数据或在线账户）之间的区别，后者可能受到其他法律原则（版权或其他知识产权）的保护，但在法律上不符合“动产”的资格。

Step 2：被告是否“使用”了该动产？通常，向服务器发送或从服务器接收数据包即符合条件。

由 ChatGPT 创建，2025年12月

Step 3：被告的使用是否“未经授权”？法律可能推定，服务器所有者仅仅通过选择连接到开放互联网，就默示允许普通的互联网流量。服务器所有者如何消除这种默示许可？这是无法教学的领域之一。对于服务器所有者如何构建与互联网用户的这种对话，没有明确的答案。服务器所有者可能可以用来消除对其动产任何默示授权的部分工具包括：

• 服务条款
• 停止并终止函
• 技术访问控制，如注册墙
• 技术访问控制，如 IP 地址封锁
• 信号，如机器人排除标头

但是，这些机制都不能保证有效。这是一个理论混乱的领域。我相信我们会花一些时间讨论这些努力是否以及何时有效。总的来说，对于每一个要点，我的问题都比答案多。

Step 4：被告未经授权的使用是否造成了法律上可识别的损害？这也是一个无法教学的方面，因为同样，对于什么损害才足够，我的问题通常比答案多。法院在 X 诉 Bright Data 案中的反复无常就是这个话题多么不可预测的一个好例子。

* * *

对于我的学生，我用以下标语总结抓取法律：“抓取无处不在，但并非明确合法。”这让学生们的大脑崩溃。如果它如此无处不在，那它一定是明确合法的……对吧？

为了使抓取活动合法，我们必须应对以下所有原则：

• Trespass to chattels. I tell my students that they should always discuss all three of these doctrines as a troika:
  • 联邦法规，特别是《计算机欺诈和滥用法》（CFAA）。
  • 州法规，例如州计算机犯罪法。在加利福尼亚州，我们关注《加州刑法典》第 502 条。
  • 普通法中的动产侵占，例如 Hamidi 和 Bright Data 案件。
• 版权法（106）。我花了一些时间解释为什么普通的网页浏览可能构成版权侵权，因为受版权保护的材料必然会被下载到浏览器的 RAM 中。学生们真的很不喜欢那个讨论，哈哈。如果网页浏览构成侵权，那么抓取也会构成侵权。除了最初的下载之外，抓取者还可能因重新发布部分或全部抓取材料而遇到进一步的 106 问题。
• 版权法 DMCA（1201/1202）。我在课堂上还没有涉及这个角度，因为它太不发达且混乱，但我相信我们今天会花一些时间讨论 1201。给你们一个预览，迄今为止的 1201 裁决让我大脑崩溃，我的问题比答案多。
• 许多服务条款都包含反抓取条款，但这些服务条款是否规范成立并不明确。在我的互联网法课程中，我们花了整整两周时间讨论服务条款的成立问题。在第九巡回法院2025年的Chabolla和Godun判决中，相关法律发生了很大变化。

抓取行为还可能引发其他法律原则，例如商标权和隐私权。

所以这就是我说抓取并非明确合法的原因。要让一项抓取活动被允许，它必须经受住上述每一项法律原则的检验。如果该活动在任何一项原则上不成立，它就不合法，抓取者可能面临严重后果（在某些情况下甚至包括刑事责任）。要构建一项能够完美应对如此多法律原则的抓取活动，实在令人望而生畏。

* * *

很抱歉做了这么冗长的介绍（不过，我提醒你，我是法学教授，所以啰嗦其实并不那么令人意外，对吧？）抓取法如此复杂且多面，讨论很容易陷入死胡同，或者对话者各说各话。我希望这段介绍能为我更详细的评论提供一些有用的结构和背景。

再次感谢参与这次AMA。提前为所有我回答“视情况而定”“我不知道”或“这是个好问题”的时候一并致歉。而且在任何情况下，都不要把我的话当作最终定论——如果你要做任何决定，请咨询你的律师！