昨天在查询网站收录数据,看到最近一周收录的文章有三次重复。同个网站内同一篇篇文章重复收录无论是对于读者还是对于搜索引擎都是不好的,一篇同样文章被收录三次,另外两篇就成了”垃圾”了嘛,据说大量重复收录会被搜索引擎惩罚(没验证过)。
点击进入链接,除了原网页,分别出现
http://www.stcash.com/5273/comment-page-1
http://www.stcash.com/5273?replytocom=1989
前面一篇文章居然出现一个三级目录,后面一篇文章又类似于动态网页网址。我文章中是没有这两个链接地址的,查看网页源码,可以发现了这?replytocom 和 comment-page-1 网址都是来源于评论的链接,其中?replytocom 是评论链接,有几个评论就有几个这样的链接;comment-page-1 是评论分页第一页的链接。
如果评论比较多,比如说有 1000 条评论,那么为了提高网页加载速度和提升用户体验,一般都会进行分页,这样就会出现 comment-page-2,comment-page-3……。但是不巧的是,百度蜘蛛依然不能识别出来。
一、对于comment-page-1重复收录的解决办法有两种
1、在wordpress后台关闭评论分页
2、修改robots.txt,加上以下代码禁止搜索引擎抓取评论分页链接
- Disallow: /*/comment-page-*
robots.txt 在网站根目录,使用网址/robots.tx 就可以看到设置的结果了。如果根目录下没有这个文件,请新建一个 robots.tx 文件,文件内容如下:
- User-agent: *
- Disallow: /*/comment-page-*
二、对于replytocom重复收录的解决办法
同样道理,直接修改 robots.txt,加上以下代码禁止搜索引擎抓取评论链接。
- Disallow: /*?replytocom=*
Boke112导航点评:其实解决同一篇文章被重复收录的最好办法就是利用 Robots.txt 优化我们的 WordPress 站点,具体可见知更鸟大神分享的完整版 Robots.txt 文件《利用 Robots.txt 优化你的 WordPress 站点》。
来源:朱海涛