ZBlogPHP站点的robots.txt文件应该怎么写?

 2019-06-07 11:51:26  173 人阅读  12 条评论

robots.txt 文件有什么用这里就不多说的,想要了解的可以参考『利用 Robots.txt 优化你的 WordPress 站点』这篇文章,该文介绍了 Robots 协议定义和作用及 WordPress 站点如何编写 robots.txt 文件。WordPress 站点和 ZBlogPHP 站点的 robots.txt 文件内容肯定是不一样的,那么我们 ZBlogPHP 站点应该如何写 robots.txt 文件呢?

ZBlogPHP站点的robots.txt文件应该怎么写? - 第1张 - boke112导航(boke112.com)

老实说,对于 ZBlogPHP 的 robots.txt 文件 boke112 导航也不在行,所以在写 robots.txt 文件之前先看看那些使用 ZBlogPHP 的大神如何写,然后再结合自己站点的实际情况来写即可。分析了卢松松博客月光博客的 robots.txt 文件,总结如下:

  • 相同点:都禁止搜索引擎抓取/zb_system/,同时填写有地图文件(ZBlogPHP 站点地图生成可参考『ZBlogPHP 站点如何生成地图文件?』)路径;
  • 不同点:卢松松博客还禁止搜索引擎抓取插件目录/plugin/

根据这两位大神的站点 robots.txt 文件,我们 ZBlogPHP 站点的 robots.txt 文件可以写成这样:

User-Agent: *
Disallow: /zb_system/
Sitemap: http://你的站点域名/sitemap.xml

如果想禁止抓取插件目录,可以写成:

User-Agent: *
Disallow: /plugin/
Disallow: /zb_system/
Sitemap: http://你的站点域名/sitemap.xml

一般/zb_users/含有一些图片、CSS 文件之类的,所以 boke112 导航不建议禁止抓取这个文件夹。大部分 ZBlogPHP 站点的 robots.txt 文件参考上面两种写法就可以的,如果具体还想要禁止抓取那些文件或文件夹,大家可根据自己的实际情况添加。

您可能感兴趣的文章

文章标签: ,  
本文地址:https://boke112.com/6859.html
版权声明:本文为原创文章,版权归  所有,欢迎分享本文,转载请保留出处!
©boke112导航,本站推荐使用:阿里云 ECS服务器等云产品服务,国外免备案主机建议使用:老薛主机

阿里云专题 腾讯云专题虚拟主机专题WPS专题

 发表评论

大笑表情偷笑表情鼓掌表情思考表情疑问表情抠鼻表情抓狂表情晕表情黑线表情流汗表情流泪表情囧表情衰表情围观表情OK表情牛表情

  1. 张波博客
    张波博客 @回复

    ZBlog用的人好像少吧。

  2. 阁主博客
    阁主博客 @回复

    合理运用,无论是自身安全还是有效抓取都是好的。

  3. Jane博客
    Jane博客 @回复

    都是直接搬来用,自己不会写

  4. WordPress建站吧
    WordPress建站吧 @回复

    感觉不写还好点。怕写错了把蜘蛛给屏蔽了

  5. 去看你博客
    去看你博客 @回复

    这个还是要根据自己站点来写的

  6. 凯少技术网
    凯少技术网 @回复

    不用这个文件会怎样?