arXiv cs.CL· Malte Ostendorff·· 6 天前AI 评分24
面向 LLM 预训练数据的 Host-Aware 网页抓取策略研究
Host-Aware Web Crawling for LLM Pretraining Data
AI 导读
研究发现，文档质量分类器得分约一半的差异来自不同 host 之间，且同一 host 少量页面即可预估其余页面质量。模拟显示，用中心性指标选择抓取哪些 host 相比随机排序收益有限，而先采样少量页面再对高分 host 加深抓取，每次抓取获得的高质量页面是均匀深度或中心性分配的数倍。
正文 · AI 翻译
摘要：网络爬取是大语言模型（LLM）预训练数据的主要来源，但数据筛选流程会丢弃大量已爬取的页面。我们研究爬虫应如何在主机之间以及主机内部进行预算分配，以收集更多高质量的预训练数据。结合文档级质量分类器得分、网络图中心性指标以及 Common Crawl 的每主机爬取覆盖率，我们发现分类器得分中约有一半的差异出现在主机之间。在我们分析的爬取中，来自某个主机的少量页面也能有效估计其剩余页面的质量。Common Crawl 使用调和中心性这一图中心性指标来指导其爬取分配。在我们的模拟中，使用中心性来选择爬取哪些主机相比随机排序收益有限，并且对某些分类器表现更差。在决定对每个主机爬取多深时，先采样少量页面，然后从样本得分更高的主机获取更多页面，相比均匀深度或基于中心性的分配，每次抓取能收集到数倍的高质量页面。最后，Common Crawl 观测到的每主机覆盖率与所评估的质量信号几乎没有相关性。我们估计，在所考察的每次爬取中，已知但未爬取的 URL 中仍有数千万个高质量页面，其中大部分集中在少数主机上。
| 评论： | 已被 WaC-13 @ EMNLP 2026 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13321 [cs.CL] |
| （或 arXiv:2610.13321v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13321 arXiv 颁发的 DOI（通过 DataCite，待注册） |
提交历史
来自：Malte Ostendorff [查看邮件]
[v1]
2026年10月9日星期五 10:03:04 UTC（163 KB）
来源：arXiv cs.CL · arxiv.org