在网站根目录下创建robots文件
1、禁止所有搜索引擎访问网站的所有部分
User-agent:*
Disallow:/
2、禁止百度索引你的网站
User-agent:Baiduspider
Disallow:/
3、禁止Google索引你的网站
User-agent:Googlebot
Disallow:/
4、禁止除Google外的一切搜索引擎索引你的网站
User-agent:Googlebot
Disallow:
User-agent:*
Disallow:/
5、禁止除百度外的一切搜索引擎索引你的网站
User-agent:Baiduspider
Disallow:
User-agent:*
Disallow:/
6、禁止蜘蛛访问某个目录
（例如禁止admin\css\images被索引）
User-agent:*
Disallow:/css/
Disallow:/admin/
Disallow:/images/
7、允许访问某个目录中的某些特定网址
User-agent:*
Allow:/css/my
Allow:/admin/html
Allow:/images/index
Disallow:/css/
Disallow:/admin/
Disallow:/images/
在SEO优化过程中，对于蜘蛛的了解和控制至关重要，关于robot.txt希望能够帮助大家写出利于搜索引擎优化的robots.txt文件。
