研究：网页智能体抓取中 HTTP 200 不代表内容可用

作者：Shuyang Zhang（香港理工大学）

摘要：Web 智能体和答案引擎在提问时抓取页面，而对引用来源的存活检查将 HTTP 200 响应视为成功。我们测量了这一假设失败的频率，以及它对基于抓取页面构建的测量结果的影响。我们在三天内使用礼貌的静态客户端和渲染浏览器客户端抓取了 10,307 个 URL：来自五个层级的 1,507 个站点的页面、每个站点上随机不存在的路径，以及 ExpertQA 中经专家验证的声明所引用的 4,795 个 URL。我们定义了 200 响应所包含内容的分类法，自动标注静态 200 响应，并用基于 LLM 的助手审查的 300 个条目来核对标签；对其中的 60 个进行人工检查，经讨论后保留了所有经审查的可用性标签。根据自动标签，静态客户端以状态 200 接收的页面中有 20.9% 不包含页面的主要内容：应用外壳、机器人挑战、拦截页面、错误和占位页面以及部分内容。在留出的测试集上，经审查的样本将该估计从 25.5% 降至 20.0%。随机路径探测得到应答的站点中有 13.1% 返回了 200。该误差会传播：对于被引用的来源，将 200 视为内容会使可对照实时内容检查的声明-来源对占比被高估 12.2 个百分点，并将表观静默引用漂移率从 5.8% 抬高至 21.9%。廉价的启发式方法能捕获其中大部分。文本长度、探测比较和重定向到根路径，在留出站点上组合并调优后，以接近 5% 的误报率恢复了 86% 的不可用经审查响应。内容读取检测器的表现相当：最佳的是文本分类器，在超过两倍误报率的情况下获得了五到七点的召回率提升。我们认为，智能体及其评估应明确报告抓取结果，而不是从状态行推断，并将发布标注数据和代码。

评论：	10 页，3 张图
主题：	信息检索（cs.IR）；计算与语言（cs.CL）；网络与互联网架构（cs.NI）
引用为：	arXiv:2611.00884 [cs.IR]
	（或 arXiv:2611.00884v1 [cs.IR] 用于此版本）
	https://doi.org/10.48550/arXiv.2611.00884 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Shuyang Zhang [查看电子邮件]
[v1] 2026 年 10 月 31 日星期六 12:42:45 UTC（57 KB）