【官方说法】查看UA和反查IP两步正确识别百度蜘蛛

转载  站长学院 2017-04-28 12:30 阅读 75 次 评论 24 条

经常听到站长们问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了,最近百度蜘蛛都不来了怎么办,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP不固定,我们无法对外公布。那怎么才能识别正确的百度蜘蛛呢?来来来,只需简单两步,教你正确识别百度蜘蛛。

1、查看UA:如果UA都不对,可以直接判断非百度搜索的蜘蛛。

目前对外公布过的UA:

移动UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

新增渲染UA:

移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2、反查IP

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

【官方说法】查看UA和反查IP两步正确识别百度蜘蛛 最新资讯 第1张

2、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

3、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

文章标签: ,   ,  
原文地址:http://zhanzhang.baidu.com/college/articleinfo?id=1002
温馨提示:文章内容仅代表作者个人观点,不代表boke112导航赞同其观点和对其真实性负责!
版权声明:本文为转载文章,来源于 站长学院 ,版权归原作者所有,欢迎分享本文,转载请保留出处!
WordPress免费响应式主题:Nana

发表评论


表情

  1. 言曌博客
    言曌博客 【村长】 @回复

    早安 [思考] [思考] [思考]

  2. 个人博客
    个人博客 【县长】 @回复

    可以,学习了

  3. 明月登楼
    明月登楼 【总理】 @回复

    哎,折腾了一下,把博客暂时迁移到VPS上了!

  4. 菊部
    菊部 【队长】 @回复

    现在对百度的态度就是–爱咋咋。。

  5. 老金@金博客
    老金@金博客 【镇长】 @回复

    很复杂的样子

  6. 春熙路
    春熙路 【省长】 @回复

    感谢分享

  7. Koolight
    Koolight 【省长】 @回复

    官方出来声明了。

  8. 励志语录
    励志语录 【村长】 @回复

    学习了!

  9. SEO自学网
    SEO自学网 【村长】 @回复

    百度出品,必属精品。

  10. GIF234邪恶吧
    GIF234邪恶吧 【省长】 @回复

    又学习到了新知识

  11. 金榜台博客
    金榜台博客 【市长】 @回复

    不错,学习了

  12. 一个五博客
    一个五博客 【农民】 @回复

    来逛逛哈!!

  13. 我赚啦
    我赚啦 【农民】 @回复

    闲着没事,随便逛逛,心静自然凉。

  14. 博客导航目录
    博客导航目录 【村长】 @回复

    看来博主已经回来了

  15. 黎叔
    黎叔 【村长】 @回复

    请问博主的公安备案花了多久时间,我提交了一个多月了还在等待审核

    • boke112导航
      boke112导航【站长】2017-04-28 17:29  回复

      @黎叔我们这里是很快的,接到电话通知后,网上提交相关材料,3天内好像就审核通过了。如果是自己主动提交材料的,好像要很久才审核

    • SEO自学网
      SEO自学网 【村长】2017-04-28 19:54  回复

      @黎叔还要看在什么地区,有的地区还需要本人到公安局去填写资料的

    • 言曌博客
      言曌博客 【村长】2017-04-30 07:30  回复

      @黎叔我的公安备案,提交登记到成功 用了 21天

  16. 黎叔
    黎叔 【村长】 @回复

    管他的爱抓就抓,反正也没啥流量

  17. 爱时尚
    爱时尚 【省长】 @回复

    蜘蛛来的越频繁越好,是吗