如何禁止所有搜索引擎访问或收录网站?

 2017-09-06 15:35:01  57 人阅读  0 条评论

您若有更好的答案请留言告知,一旦确认为最佳答案,将会替换本文的最佳答案,谢谢支持!

 最佳答案:

方式一:设置robots.txt方法

搜索引擎默认的遵守robots.txt协议,创建robots.txt文本文件放至网站根目录下,编辑代码如下:

  1. User-agent: *
  2. Disallow: /

通过以上代码,即可告诉搜索引擎不要抓取采取收录本网站,注意慎用如上代码:这将禁止所有搜索引擎访问网站的任何部分。

下面举几个robots.txt用法的例子:

  1. User-agent: *
  2. Disallow: /

禁止所有搜索引擎访问网站的所有部分

  1. User-agent: Baiduspider
  2. Disallow: /

禁止百度收录全站

  1. User-agent: Googlebot
  2. Disallow: /

禁止Google收录全站

  1. User-agent: Googlebot
  2. Disallow:
  3. User-agent: *
  4. allow: /

禁止除Google外的一切搜索引擎收录全站

  1. User-agent: Baiduspider
  2. Disallow:
  3. User-agent: *
  4. allow: /

禁止除百度外的一切搜索引擎收录全站

  1. User-agent: *
  2. Disallow: /css/
  3. Disallow: /admin/

禁止所有搜索引擎访问某个目录(例如禁止根目录下的admin和css)

方式二:设置网页代码方法

在网站首页代码<head>与</head>之间,加入<meta name="robots" content="noarchive">代码,此标记禁止搜索引擎抓取网站并显示网页快照。

在网站首页代码<head>与</head>之间,加入<meta name="Baiduspider" content="noarchive">即可禁止百度搜索引擎抓取网站并显示网页快照。

在网站首页代码<head>与</head>之间,加入<meta name="googlebot" content="noarchive">即可禁止谷歌搜索引擎抓取网站并显示网页快照。

答案来自:html模板网 - https://www.haook.cn/html/Va/show/40.html

如果文章对你有帮助,请赞赏支持boke112导航发展!

编辑作者:懿古今(QQ号:2226524923,QQ群:415623933
免责声明:本文内容来源于互联网,仅供参考学习之用,如有侵权请联系本站修改删除!

 发表评论