由于本站的图片基本上都是自建图床外链,为了方便搜索引擎抓取,考虑还是设置一下robots.txt规则为好。本次域名使用的是又拍云的云存储,又拍云是使用 cdn 起家,当家产品是 cdn 和云处理。相比隔壁的七牛云,人家的云存储默认是有机器人规则设置的。不过嘛,既然是高级的 cdn,总不会连定制一个小小的 robots.txt 这么个 uri 的功能都没有的。我们还是先看看网上的介绍吧
关于 robots.txt 的 bug,访问又拍云 robots 时依然返回的是源站的 robots。我已经关闭了源站资源迁移功能,并且在 ftp 里为又拍云特别上传了一份 robots.txt,然而访问 robots.txt 时,返回的还是源站的 robots.txt 文件内容。这个问题很严重,该域名已经被搜索引擎抓取,希望技术人员帮忙看一下。
一、设置相应 robots.txt文件并放置于响应位置
1、云存储的情况
云存储通过 ftp 上传一个 robots-{识别码}.txt 形式的文件。
2、cdn的情况
如果是 cdn 的话,那就更加方便了,在网站文件下加一个这样的文件,然后进入到又拍云边缘规则的设置地址进行设置。
二、又拍云边缘规则设置
步骤 1 添加一条规则
步骤 2 设置规则为 url 重写
其中重写的方法/robots.txt,指向地址云存储一般是根目录下的 txt 文件,比如 WordPress 的镜像 cdn 的话类似/wp-content/uploads/robots-{xxx}.txt 这样的位置应该是不会出问题的。
步骤 3 设置状态为测试,访问 url 进行测试。
步骤 4 确认设置无误后将状态设置为启用,其中关于附加选项 -优先级和 break。
因为是静态规则,所以优先级设置为较小的值。数值越大越不优先处理,即优先处理优先级小的规则。没有其他规则时可以 break,多条规则时,加了条件 uri 地址等于/robots.txt 后可以 break。
拓展阅读
- 给新手站长们说说又拍云 CDN 的使用
- 如何将图片通过 FTP 上传到又拍云存储?
- 又拍云实名认证如何选择芝麻信用认证?
- WordPress 使用又拍云存储实现 CDN 的图文教程
- 如何通过又拍云 WebP 兼容方案来减少图片体积?
- WordPress 远程附件上传插件 for Upyun(又拍云)及教程



















桂公网安备 45010502000016号