1、当前规则语法错误、大小写问题、不必要的重复；
2、你的规则是允许抓取，还是不允许抓取，首先要明白这个；
3、整站禁止（谷歌和百度的抓取）
User-agent: Googlebot

Disallow: /

User-agent: Baiduspider

Disallow: /
4、正常Robots里使用的都是禁止每个栏目被抓取，不禁止的，就是默认允许。