腾讯云服务器优惠活动华纳云香港服务器
boke112百科 » 建站经验 » 正文

如何禁止除百度和谷歌之外的搜索引擎抓取mip/amp页面？

更新于 2022-11-24 22:32:04首发于 2018-03-04 11:25:14583

如果站点是在页面原有的 URL 后面加上/amp 或?amp 来达成 AMP 页面的，那么我们有必要禁止除百度和谷歌之外的搜索引擎抓取这些 amp 页面。

如果百度和谷歌都是共用一套 AMP 页面，那么 robots.txt 可以这样写：

  1. User-agent: baiduspider
  2. Allow: /amp
  3. Allow: ?amp
  4. User-agent: googlebot-mobile
  5. Allow: /amp
  6. Allow: ?amp
  7. User-agent: *
  8. Disallow: /amp
  9. Disallow: ?amp

如果百度用 MIP 页面，谷歌用 AMP 页面，那么 robots.txt 可以这样写：

  1. User-agent: baiduspider
  2. Allow: /mip
  3. Allow: ?mip
  4. User-agent: googlebot-mobile
  5. Allow: /amp
  6. Allow: ?amp
  7. User-agent: *
  8. Disallow: /mip
  9. Disallow: ?mip
  10. Disallow: /amp
  11. Disallow: ?amp

本文地址：https://boke112.com/post/4692.html

赞 (0) 打赏
版权声明：本文为原创文章，版权归 boke112百科 所有，欢迎分享本文，转载请保留出处！发布此文是出于传递更多信息之目的，若有来源标注错误或侵犯了您的合法权益，请联系我们，确认后马上更正或删除，谢谢！
标签

相关文章

最新文章

免备案外贸虚拟主机SiteGround

热门标签

Copyright © boke112百科基于 WordPress + YIA 构建桂ICP备14004711号-3anbei桂公网安备 45010502000016号
wu