根据一些SEO高手介绍,站点参与排名的重要分类页面不对用户开放,仅对搜索引擎开放,可以防止被他人采集该分类下的文章。前面boke112百科跟大家分享『宝塔面板Nginx防火墙教程:如何禁止用户访问指定URL地址?』一文介绍了禁止用户访问该分类的URL地址,今天接着跟大家介绍通过设置UA白名单让搜索引擎可以访问该分类的URL地址,以便抓取该分类下的文章。
1、登录进入宝塔面板后台 – 点击左侧导航菜单“防火墙”- 点击切换到“全局设置”- 找到“UA白名单”并点击操作下对应的“设置”。

2、在“UA白名单”的输入框中输入搜索引擎对应的蜘蛛名称,如百度蜘蛛Baiduspider,点击【添加】按钮即可将百度蜘蛛添加到UA白名单中。

多个搜索引擎蜘蛛则重复以上操作添加即可。当然,我们也可以点击【导入】按钮 – 在“导入UA白名单”中按照格式粘贴各个搜索引擎蜘蛛并点击【确定】按钮即可。

如目前主流搜索引擎蜘蛛根据格式整理如下:
["Baiduspider","360Spider","Sogou web spider","YisouSpider","Bytespider","Googlebot","bingbot"]
大家可以直接复制以上蜘蛛并粘贴到“导入UA白名单”输入框中点击【确定】按钮即可。
3、(可选)至于UA白名单的导出功能和清空功能也很简单,顾名思义导出功能就是将我们所添加的蜘蛛导出为ua_white.json文件,可以分享给他人使用;清空功能就是将我们所添加的蜘蛛全部清空。
















桂公网安备 45010502000016号