方式一:设置robots.txt方法
搜索引擎默认的遵守robots.txt协议,创建robots.txt文本文件 放至网站根目录下,编辑代码如下:
User-agent:*
Disallow:/通过以上代码,即告诉搜索引擎不要抓取,采取,收录本网站。
注意:如果使用上面的代码,就是将禁止所有搜索引擎访问网站的任何部分。
下面举例常见的用法:
1、禁止所有搜索引擎访问网站的所有部分
User-agent:*
Disallow:/2、禁止百度收录网站所有部分
User-agent:Baiduspider
Disallow:/3、禁止Google收录全站
User-agent:Googlebot
Disallow:/4、禁止除了Google 外的一切搜索引擎搜录全站
User-agent:Googlebot
Disallow:
User-agent:*
allow:/4、禁止除了百度外的一切搜索引擎搜录全站
User-agent:Baiduspider
Disallow:
User-agent:*
allow:/5、禁止所有搜索引擎 访问某个目录 (比如禁止根目录下的admin和css)
User-agent:*
Disallow:/css/
Disallow:/admin/方式二:设置网页代码 方法
在网站首页代码<head></head>之间,加入以下代码来禁止搜索引擎的收录和索引
## 禁止所有搜索引擎的收录和索引
<meta name="robots" content="noindex">
## 禁止百度搜索引擎和索引
<meta name="Baiduspider" content="noindex">
## 禁止Google搜索引擎和索引
<meta name="googlebot" content="noindex">版权声明:本文为weixin_43508199原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明。