前面跟大家分享了『恶意爬虫censys的IP地址段和User-Agent』,今天继续跟大家分享在宝塔面板上如何屏蔽censys爬虫。
其实,如果你在宝塔面板的WAF全局设置中开启了“恶意IP共享计划”,那么宝塔面板就会自动拦截恶意爬虫censys,具体如下图所示:

不过我们还可以通过屏蔽censys的IP地址段和User-Agent来进一步屏蔽,具体操作如下:
1、登录进入服务器上的宝塔面板后台 >> 点击左侧导航菜单“WAF”>> 点击切换到“全局设置”>> 点击IP黑名单中的【设置】按钮。

2、在“IPv4黑名单”中点击【导入】按钮,并粘贴一下代码后点击【确定】按钮(建议在备注中注明是“censys”)。
162.142.125.0/24
167.94.138.0/24
167.94.145.0/24
167.94.146.0/24
167.248.133.0/24
199.45.154.0/24
199.45.155.0/24
206.168.34.0/24

3、点击切换到“IPv6黑名单”中点击【导入】按钮,并粘贴一下代码后点击【确定】按钮(建议在备注中注明是“censys”)。
2602:80d:1000:b0cc:e::/80
2620:96:e000:b0cc:e::/80
2602:80d:1003::/112
2602:80d:1004::/112

4、在全局设置中点击“UA黑名单”的【设置】按钮,输入censys并点击【添加】按钮。

为了确保更精准,还可以继续添加CensysInspect/1.1和CensysInspect到“UA黑名单”中。
如果你的宝塔面板没有WAF功能的话,也是可以通过以修改conf文件来屏蔽的,将以下代码放到Nginx站点的server块里即可。
if($http_user_agent~(CensysInspect|Scrapy|Curl|HttpClient)){
return 403;
}















桂公网安备 45010502000016号