经常有站长说主机日志中有很多百度蜘蛛疯狂爬行的记录,但是不知道这些蜘蛛是真的还是假的?有什么办法判断吗?其实,百度搜索学院早就给出了具体办法来鉴别真假蜘蛛,一是看 UA 二是反查 IP,具体可参考『查看 UA 和反查 IP 两步正确识别百度蜘蛛』。
两个鉴别百度真假蜘蛛的方法种,查看 UA 是相对比较简单的,如果 UA 都不对,那么直接可以判断为非百度搜索的蜘蛛。目前 UA 分为小程序、移动和 PC 三个应用场景,这三个渠道 UA 分别如下:
小程序 UA:
Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)
移动 UA:
Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
或
Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)
PC UA:
Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
或
Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)