基于 CommonCrawl 语料库构建的网页搜索引擎

开发者用 CommonCrawl 语料库搭建了一个替代性网页搜索引擎，索引规模达 40 亿页面、覆盖 3350 万个域名，目标是达到 Google 索引的 1%。该引擎通过自建 pipeline 处理语料，并将结果导入经典全文搜索索引，demo 已在 search.xorsoft.dev 上线。