如何禁止所有搜索引擎访问或收录网站?

想要禁止所有搜索引擎访问或收录自己的博客网站,可以考虑采用以下方法:

方式一:设置 robots.txt 方法

搜索引擎默认的遵守 robots.txt 协议,创建 robots.txt 文本文件放至网站根目录下,编辑代码如下:

User-agent: *
Disallow: /

上述代码的意思就是告诉搜索引擎不要抓取收录本网站。

如果你想要让搜索引擎收录自己的网站内容,一定要检查自己网站根目录的robots.txt文件是否包含有以上代码,若有一定要删除哦。

下面举几个 robots.txt 用法的例子:

1、禁止所有搜索引擎访问网站的所有部分

User-agent: *
Disallow: /

2、禁止百度收录全站

User-agent: Baiduspider
Disallow: /

3、禁止 Google 收录全站

User-agent: Googlebot
Disallow: /

4、禁止除 Google 外的一切搜索引擎收录全站

User-agent: Googlebot
Disallow:
User-agent: *
allow: /

5、禁止除百度外的一切搜索引擎收录全站

User-agent: Baiduspider
Disallow:
User-agent: *
allow: /

6、禁止所有搜索引擎访问某个目录(例如禁止根目录下的 admin 和 css)

User-agent: *
Disallow: /css/
Disallow: /admin/

方式二:设置网页代码方法

1、在网站首页代码</head>之前,添加以下代码,可以禁止搜索引擎的收录和索引。

<meta name="robots" content="noindex">

2、在网站首页代码</head>之前,添加以下代码,可以禁止百度搜索引擎的收录和索引。

<meta name="Baiduspider" content="noindex">

3、在网站首页代码</head>之前,添加以下代码,可以禁止谷歌搜索引擎的收录和索引。

<meta name="googlebot" content="noindex">
文章创作不易,期待您的评分

本文地址:https://boke112.com/article/p4257.html

版权声明:本文内容来源于互联网资源,由 boke112百科 整理汇总!发布此文是出于传递更多信息之目的,若有来源标注错误或侵犯了您的合法权益,请联系我们,确认后马上更正或删除,谢谢!
wu