一个基于python asyncio开发的爬虫框架 (开发中)

• @昊色居士

• 使用scrapy框架的选择器 parsel 作为内置网页选择器
• 基于tenacity的自动异常重试
• 基于fake-useragent的可选随机UA
• 可选的多种下载器: httpx、aiohttp、requests、curl-cffi、requests-go
• 请求前、响应后、重试后监听

• 增加其他解析器
• 在情求过程中临时更换下载器：比如net初始化时使用的是httpx下载器，其中一个情求要临时切换至 DrissionPage, 其他的依旧是httpx
• 支持 DrissionPage、playwright 浏览器渲染的下载器
• 下载器支持更多配置项及自定义项
• 编写详细使用文档

使用 pip 安装 hssp

pip install hssp

使用 uv 安装 hssp

uv add hssp

如需支持，请发送电子邮件至 xhrtxh@gmail.com。

项目使用uv管理依赖，需先安装uv

    rye sync