如何禁止除百度和谷歌之外的搜索引擎抓取mip/amp页面?

 2018-03-04 11:25:14  219 人阅读  4 条评论
 最佳答案:

如果站点是在页面原有的 URL 后面加上/amp 或?amp 来达成 AMP 页面的,那么我们有必要禁止除百度和谷歌之外的搜索引擎抓取这些 amp 页面。

如果百度和谷歌都是共用一套 AMP 页面,那么 robots.txt 可以这样写:

  1. User-agent: baiduspider
  2. Allow: /amp
  3. Allow: ?amp
  4. User-agent: googlebot-mobile
  5. Allow: /amp
  6. Allow: ?amp
  7. User-agent: *
  8. Disallow: /amp
  9. Disallow: ?amp

如果百度用 MIP 页面,谷歌用 AMP 页面,那么 robots.txt 可以这样写:

  1. User-agent: baiduspider
  2. Allow: /mip
  3. Allow: ?mip
  4. User-agent: googlebot-mobile
  5. Allow: /amp
  6. Allow: ?amp
  7. User-agent: *
  8. Disallow: /mip
  9. Disallow: ?mip
  10. Disallow: /amp
  11. Disallow: ?amp
问题标签: ,   ,   ,   ,  更多问题标签>>
编辑作者:懿古今(QQ号:2226524923,QQ群:415623933
免责声明:本文内容来源于互联网,仅供参考学习之用,如有侵权请联系本站修改删除!
问题分类:WordPress问题 ,  建站技术问题 ,  操作系统问题 ,  办公软件问题 ,  搜索热点问题 ,  综合其他问题

相关问题 热门问题近期问题随机标签

 发表评论

中国赞表情摊手表情吃瓜表情笑哭表情偷笑表情衰表情汗表情思考表情费解表情抓狂表情晕表情流泪表情疑问表情嘻嘻表情吃惊表情鼓掌表情

  1. 狂放
    狂放 @回复

    我是两个域名来着,神马竟然收了我mip页面。。。。咋办,写php?还是有语法?

    • 懿古今
      懿古今2018-03-07 08:57  回复

      @狂放神马这个蜘蛛不太遵守robots协议,所以怎么写都没用,除非你彻底屏蔽神马抓取

  2. 西枫里博客
    西枫里博客 @回复

    干的漂亮,这就不怕被索引amp的尾缀了~