Scrapling
自适应网页抓取框架,从单次请求到大规模爬取
Scrapling 是 Python 编写的自适应网页抓取框架,用智能选择器自动跟随页面结构变化,元素定位失效后可自我修复。它同时覆盖单次请求、动态渲染与高并发全站爬取,内置反爬绕过与性能优化,并提供 MCP、AI、RAG 等可选能力。相比 BeautifulSoup 需手工维护选择器、Scrapy 偏重工程编排,它把解析、抓取与抗变更整合成开箱即用的统一工具。
- 分类
- SDK 与库
- 语言
- Python
- 许可
- BSD-3-Clause
- Star
- 85072
安装
python
pip install scraplingpython
pip install "scrapling[fetchers]"python
pip install "scrapling[ai]"python
pip install "scrapling[rag]"python
pip install "scrapling[shell]"python
pip install "scrapling[all]"