arXiv cs.CL· Joseph Marvin Imperial, Daniel Slate, Noam Kolt·· 10 小时前AI 评分52
ScrapeBench：评估 AI 智能体网页抓取的法律合规性
ScrapeBench: Evaluating Legal Compliance of AI Agents in Website Scraping
AI 导读
论文提出 ScrapeBench，这是首个用于评估 AI 智能体在网页抓取时是否遵守网站服务条款（ToS）和 robots 指令的智能体基准。
正文 · AI 翻译
摘要：部署在开放网络上的 AI 智能体越来越有能力执行可能违反合同条款和触犯计算机安全法的操作。在本文中，我们推出 ScrapeBench，这是首个用于实证评估 AI 智能体在网站抓取政策（即服务条款（ToS）和 $\texttt{this http URL}$ 指令）方面法律合规性的智能体基准。在广泛使用的闭源权重和开源权重 AI 智能体中，我们发现，在我们选取的 1,626 个明确禁止抓取的流行网站样本中，大多数智能体在被指示抓取网站时表现出较低的合规率（< 5%）。此外，我们观察到，即使 AI 智能体主动检查适用的 ToS 和 $\texttt{this http URL}$，它们仍然表现出较低的合规率。相反，在我们选取的 269 个不禁止抓取的网站样本中，我们观察到智能体有时会拒绝抓取，尽管这是合法的，例如 Claude Opus 4.6 表现出 98.5% 的过度拒绝率。我们的人类基线实验（n = 180 名参与者）表明，人类的合规率与 AI 智能体相当，但过度拒绝率要高得多。
| 评论： | NeurIPS 2026（评估与数据集赛道）相机就绪版 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.11306 [cs.CL] |
| （或 arXiv:2611.11306v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.11306 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Joseph Marvin Imperial [查看电子邮件]
[v1]
2026 年 11 月 8 日星期日 11:19:18 UTC（5,595 KB）
[v2]
2026 年 11 月 10 日星期二 11:23:10 UTC（5,595 KB）
来源：arXiv cs.CL · arxiv.org