测试的网站不想被百度等搜索引擎抓取应该怎么暂时屏蔽?

 2019-08-25 11:11:20  77 人阅读  23 条评论
 最佳答案:

有些站长比较喜欢将站点上线测试(不喜欢在本地测试),但是又不想被百度等搜索引擎抓取,那么应该怎么暂时屏蔽呢?今天 boke112 就跟大家简单介绍几种方法。

测试的网站不想被百度等搜索引擎抓取应该怎么暂时屏蔽? - 第1张 - boke112联盟(boke112.com)

方法一:WordPress 站点的直接后台设置

WordPress 站点可以直接登录站点后台 >> 设置 >> 阅读 >> 勾选“建议搜索引擎不索引本站点”并点击【保存更改】即可。

测试的网站不想被百度等搜索引擎抓取应该怎么暂时屏蔽? - 第2张 - boke112联盟(boke112.com)

方法二:通过 robots.txt 禁止

直接在网站根目录中新建一个 robots.txt 文件,然后在文件中添加以下代码:

User-Agent: *
Disallow: /

方法三:通过 noindex 标记来禁止

直接在站点的头文件 header.php 文件中添加以下代码:

<meta name="robots" content="noindex" >

方法四:通过 PHP 代码禁止(WordPress 站点为例)

将以下代码添加到主题目录的 functions.php 当中:

ob_start("Deny_Spider_Advanced");
function Deny_Spider_Advanced() {
$UA = $_SERVER['HTTP_USER_AGENT'];
$Spider_UA  = '/(spider|bot|)/i'; //定义需要禁止的蜘蛛 UA,一般是 spider 和 bot
//如果检测到 UA 不为空而且发现是蜘蛛则返回 404
if($UA && preg_match_all($Spider_UA,$UA)) {
header('HTTP/1.1 403 Forbidden');
header("status: 403 Forbidden");
}
}

可以自行替换或添加以上的 spider|bot,多个用|隔开即可。

方法五:Nginx 禁止

在 server{}中添加以下代码:

#如果抓取的 UA 中含有 spider 或 bot 时返回 403
if ($http_user_agent ~* "spider|bot") {
return 403; #如果是删除已收录的,则可以返回 404
break;
}

可以自行替换或添加以上的 spider|bot,多个用|隔开即可。

方法六:Apache 禁止

在.htaccess 中添加以下代码:

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (^$|spider|bot) [NC]
RewriteRule ^(.*)$ - [F]

可以自行替换或添加以上的 spider|bot,多个用|隔开即可。

总结

理论上以上 6 种方法都有效,建议找适合自己站点的一种办法来使用即可。一般采用方法二比较普遍,如果能够结合方法五或六来使用估计效果更佳。

您可能感兴趣的文章

问题标签: ,   ,  更多问题标签>>
编辑作者:懿古今(QQ号:2226524923,QQ群:477678587
版权声明:本文内容是出于传递更多信息之目的,若有来源标注错误或侵犯了您的合法权益,请与老古(QQ:2226524923)联系,老古将及时更正、删除,谢谢。
问题分类:WordPress问题 ,  建站/技术问题 ,  主机/服务器问题 ,  办公软件问题 ,  搜索热点问题 ,  综合其他问题
©boke112联盟,本站推荐使用:阿里云 ECS服务器等云产品服务,国外免备案主机建议使用:老薛主机

 发表评论

大笑表情偷笑表情鼓掌表情思考表情疑问表情抠鼻表情抓狂表情晕表情黑线表情流汗表情流泪表情囧表情衰表情围观表情OK表情牛表情

  1. QQ游客
    QQ游客 @回复

    为什么我评论了,可是我是网站没有出现在首页呢?

  2. 卡卡哥
    卡卡哥 @回复

    一般都是在robots里面直接屏蔽!方便快捷!

  3. 跋涉者
    跋涉者 @回复

    wordpress里设置一下就好,其他都太麻烦。。。。 [大笑]

    • 懿古今
      懿古今2019-08-26 16:24  回复

      @跋涉者WordPress站点的话,第一种方法比较简单。其他非WordPress站点就可以考虑其他方式了

  4. MAY的SEO博客
    MAY的SEO博客 @回复

    原来有这么多种方法,我一般都是使用方法一或方法二,方便快捷。

  5. 非凡信息网
    非凡信息网 @回复

    通常是本地测试好再上传

  6. 明月登楼
    明月登楼 @回复

    我一般都是WordPress里的勾选即可!

    • 懿古今
      懿古今2019-08-26 16:26  回复

      @明月登楼这个WordPress确实方便,不过也有很多站点不是WordPress,所以其他方式提供给大家参考

  7. Jane博客
    Jane博客 @回复

    好久没来,又更新了这么多文章。

  8. wordpress建站吧
    wordpress建站吧 @回复

    测试站点 最好屏蔽蜘蛛,第一种方法最简便

  9. 涂红伟
    涂红伟 @回复

    还有一种方法,在c:\windows\system32\drivers\etc目录下的host文件中添加一条 IP 域名 来手动进行DNS解析,删除域名的公网DNS解析,这样只有本机可以访问,机器无法抓取到。

    • 懿古今
      懿古今2019-08-26 16:32  回复

      @涂红伟这个方法好像只适合自己测试,如果想让其他用户帮忙测试,这种方法估计行不通。

  10. 去看你博客
    去看你博客 @回复

    个人还是喜欢本地测试,上传文件和修改内容都很方便。

  11. 小钱钱
    小钱钱 @回复

    百度屏蔽貌似比较困难

  12. 小兽wordpress
    小兽wordpress @回复

    最好屏蔽了,正式上线可以站长工具那里提交,很方便。