又拍云robots.txt指定方法 又拍云边缘规则巧用之一

由于本站的图片基本上都是自建图床外链,为了方便搜索引擎抓取,考虑还是设置一下robots.txt规则为好。本次域名使用的是又拍云的云存储,又拍云是使用 cdn 起家,当家产品是 cdn 和云处理。相比隔壁的七牛云,人家的云存储默认是有机器人规则设置的。不过嘛,既然是高级的 cdn,总不会连定制一个小小的 robots.txt 这么个 uri 的功能都没有的。我们还是先看看网上的介绍吧

关于 robots.txt 的 bug,访问又拍云 robots 时依然返回的是源站的 robots。我已经关闭了源站资源迁移功能,并且在 ftp 里为又拍云特别上传了一份 robots.txt,然而访问 robots.txt 时,返回的还是源站的 robots.txt 文件内容。这个问题很严重,该域名已经被搜索引擎抓取,希望技术人员帮忙看一下。

一、设置相应 robots.txt文件并放置于响应位置

1、云存储的情况

云存储通过 ftp 上传一个 robots-{识别码}.txt 形式的文件。

2、cdn的情况

如果是 cdn 的话,那就更加方便了,在网站文件下加一个这样的文件,然后进入到又拍云边缘规则的设置地址进行设置。

二、又拍云边缘规则设置

步骤 1 添加一条规则

又拍云robots.txt指定方法 又拍云边缘规则巧用之一-第1张-boke112百科(boke112.com)

步骤 2 设置规则为 url 重写

又拍云robots.txt指定方法 又拍云边缘规则巧用之一-第2张-boke112百科(boke112.com)

其中重写的方法/robots.txt,指向地址云存储一般是根目录下的 txt 文件,比如 WordPress 的镜像 cdn 的话类似/wp-content/uploads/robots-{xxx}.txt 这样的位置应该是不会出问题的。

步骤 3 设置状态为测试,访问 url 进行测试。

步骤 4 确认设置无误后将状态设置为启用,其中关于附加选项 -优先级和 break。

又拍云robots.txt指定方法 又拍云边缘规则巧用之一-第3张-boke112百科(boke112.com)

因为是静态规则,所以优先级设置为较小的值。数值越大越不优先处理,即优先处理优先级小的规则。没有其他规则时可以 break,多条规则时,加了条件 uri 地址等于/robots.txt 后可以 break。

boke112百科建议:推荐使用又拍云CDN全球加速(点此注册),注册并完成实名认证,可获得61元免费代金券,可用于HTTPS站点全球加速。同时,加入又拍云联盟用户每月独享优惠10GB免费存储空间和15GB免费CDN流量(HTTP/HTTPS均可用)。更多关于又拍云的文章请移步『又拍云专题

拓展阅读

文章创作不易,期待您的评分
版权声明:本文为转载文章,来源于 岂止博客 ,版权归原作者所有!发布此文是出于传递更多信息之目的,若有来源标注错误或侵犯了您的合法权益,请联系我们,确认后马上更正或删除,谢谢!
wu