因为我们的站点有些资源并不需要搜索引擎抓取，所以每个站点都有必要设置一个 robots.txt 文件来告诉搜索引擎哪些资源可以抓取哪些不可以抓取，下面 boke112 联盟和大家一起去任务中心 – 通用任务 – 资源收录 – 了解 robots 工具并通过答题测验，了解一下百度 robots 工具的相关知识并快速提升一下搜索资源指数的任务分，顺便把题目和答案跟大家分享以便大家能够快速完成答题。
了解 robots 工具只有 5 道题目，具体题目及答案如下：
NO.1 如果想要网站全部被百度收录，该不该建立 robots.txt 文件
A：应该
B：不应该
答案：B
NO.2 robots.txt 文件的作用是什么？
A：能够更好的吸引搜索引擎抓取页面
B：能够指定 spider 在你网站上的抓取范围
C：能够提供搜索结果出图效果
D：没有什么用
答案：B
NO.3 robots.txt 文件应该放在哪个位置？
A：放置在网站根目录下
B：放置在对应页面中
答案：A
NO.4 下面 robots.txt 文件内字段描述错误的是：
A：User-agent：描述自己站点和页面的名称
B：Disallow：描述不希望被访问的一组 URL
C：allow：描述希望被访问的一组 URL
D：*匹配 0 或多个任意字符
答案：A
NO.5 robots 工具目前支持 48K 的文件检测，最长不超过 250 个字符
A：正确
B：错误
答案：A
桂公网安备 45010502000016号