跳到正文

返回工具箱

Scrapling

自适应网页抓取框架,从单次请求到大规模爬取

Scrapling 是 Python 编写的自适应网页抓取框架,用智能选择器自动跟随页面结构变化,元素定位失效后可自我修复。它同时覆盖单次请求、动态渲染与高并发全站爬取,内置反爬绕过与性能优化,并提供 MCP、AI、RAG 等可选能力。相比 BeautifulSoup 需手工维护选择器、Scrapy 偏重工程编排,它把解析、抓取与抗变更整合成开箱即用的统一工具。

分类
SDK 与库
语言
Python
许可
BSD-3-Clause
Star
85072

安装

python
pip install scrapling
python
pip install "scrapling[fetchers]"
python
pip install "scrapling[ai]"
python
pip install "scrapling[rag]"
python
pip install "scrapling[shell]"
python
pip install "scrapling[all]"

版本