又拍云robots.txt指定方法 又拍云边缘规则巧用之一

投稿   岂止博客  2018-04-26 07:36:50  144 人阅读  28 条评论

由于本站的图片基本上都是自建图床外链,为了方便搜索引擎抓取,考虑还是设置一下robots.txt规则为好。本次域名使用的是又拍云的云存储,又拍云是使用 cdn 起家,当家产品是 cdn 和云处理。相比隔壁的七牛云,人家的云存储默认是有机器人规则设置的。不过嘛,既然是高级的 cdn,总不会连定制一个小小的 robots.txt 这么个 uri 的功能都没有的。我们还是先看看网上的介绍吧

关于 robots.txt 的 bug,访问又拍云 robots 时依然返回的是源站的 robots。我已经关闭了源站资源迁移功能,并且在 ftp 里为又拍云特别上传了一份 robots.txt,然而访问 robots.txt 时,返回的还是源站的 robots.txt 文件内容。这个问题很严重,该域名已经被搜索引擎抓取,希望技术人员帮忙看一下。

一、设置相应 robots.txt文件并放置于响应位置

1、云存储的情况

云存储通过 ftp 上传一个 robots-{识别码}.txt 形式的文件。

2、cdn的情况

如果是 cdn 的话,那就更加方便了,在网站文件下加一个这样的文件,然后进入到又拍云边缘规则的设置地址进行设置。

二、又拍云边缘规则设置

步骤 1 添加一条规则

又拍云robots.txt指定方法 又拍云边缘规则巧用之一 建站经验 第1张

步骤 2 设置规则为 url 重写

又拍云robots.txt指定方法 又拍云边缘规则巧用之一 建站经验 第2张

其中重写的方法/robots.txt,指向地址云存储一般是根目录下的 txt 文件,比如 WordPress 的镜像 cdn 的话类似/wp-content/uploads/robots-{xxx}.txt 这样的位置应该是不会出问题的。

步骤 3 设置状态为测试,访问 url 进行测试。

步骤 4 确认设置无误后将状态设置为启用,其中关于附加选项 -优先级和 break。

又拍云robots.txt指定方法 又拍云边缘规则巧用之一 建站经验 第3张

因为是静态规则,所以优先级设置为较小的值。数值越大越不优先处理,即优先处理优先级小的规则。没有其他规则时可以 break,多条规则时,加了条件 uri 地址等于/robots.txt 后可以 break。

推荐使用又拍云CDN全球加速(点此注册),注册并完成实名认证,可获得61元免费代金券,可用于HTTPS站点全球加速。同时,加入又拍云联盟用户每月独享优惠10GB免费存储空间和15GB免费CDN流量(HTTP/HTTPS均可用)。想了解更多请移步《又拍云相关文章》和《又拍云相关问题》。

拓展阅读

历史上的今天:

文章标签: ,   ,   ,  
原文地址:https://www.drscrewdriver.com/517.html
温馨提示:文章内容仅代表作者个人观点,不代表boke112导航赞同其观点和对其真实性负责!
版权声明:本文为投稿文章,感谢 岂止博客 的投稿,版权归原作者所有,欢迎分享本文,转载请保留出处!
公共账号

相关文章 分类热门分类热评最新问答

 发表评论

中国赞表情摊手表情吃瓜表情笑哭表情偷笑表情衰表情汗表情思考表情费解表情抓狂表情晕表情流泪表情疑问表情嘻嘻表情吃惊表情鼓掌表情

  1. 西枫里博客
    西枫里博客 @回复

    要么全开放,要么全禁止,最不喜欢的就是折腾robot,搞不好就被搜索引擎坑~

  2. 云顶天的世界
    云顶天的世界 @回复

    外链、CDN都不想用了,现在纯靠GBP大带宽撑着~

  3. 阁主博客
    阁主博客 @回复

    谢谢分享,有空实现一下!

  4. 米粒博客
    米粒博客 @回复

    唉,又拍云是我的痛,还是没整明白怎么设置,后台,评论,缩略图,每一样都让我无法继续享受又拍云的加速

  5. 米扑博客
    米扑博客 @回复

    很实用的技巧

  6. 心动科技
    心动科技 @回复

    我都已放弃CDN加速了……不过有总比没有好,感谢分享。

  7. 电炖锅的那些事
    电炖锅的那些事 @回复

    先来看看,等用得上的时候再试试。

  8. 城南博客
    城南博客 @回复

    站長一直在提供幹貨

  9. 易发网
    易发网 @回复

    [呵呵] 又拍云还没用过呢

  10. 菊
     @回复

    感谢分享

  11. 手机赚钱
    手机赚钱 @回复

    又拍云跟七牛差不多吧

  12. 沈唁志
    沈唁志 @回复

    搞擦边吗?我用的腾讯的cos要不要建一个robots.txt

  13. 呆毛网
    呆毛网 @回复

    [思考] 我现在就开了一个360的CDN。不知道再加上这又拍云会不会更好一些?还是更差求指导 [失望]

  14. 里维斯社
    里维斯社 @回复

    注册了,还没上,现在感觉图片加载吃力

  15. 橙子VIP视频
    橙子VIP视频 @回复

    我的香港空间,静态文件和图片全部调用又拍云对象存储,速度基本上和国内媲美了,前几天申请加入了又拍云联盟,还没审核通过,等待免费存储和流量!哈哈哈

  16. 靠谱学生兼职网
    靠谱学生兼职网 @回复

    暂时没有去用又拍云、七牛之类的。

  17. 银色月航
    银色月航 @回复

    终于sf [哈哈] [哈哈]
    话说没搞过又拍云,我用阿里云cdn,也没有关注robots