robots是做SEO非常重要的文件，用来告诉搜索引擎哪些文件能收录哪些文件不能收录。
User-agent: *Disallow: 是允许所有搜索引擎收录的意思。
User-agent: *表示允许所有搜索引擎蜘蛛来爬行抓取，也可以把*去掉，改为特定某一个或者某些搜索引擎蜘蛛来爬行抓取，如百度是Baiduspider，谷歌是Googlebot。
Disallow: 是说明不允许搜索引擎蜘蛛抓取的URL路径，如Disallow: / 就是禁止收录根目录下的所有文件。当然楼主问的Disallow: 是没有URL路径的（ / 代表网站根目录下的所有文件），也就是说没有要禁止的，那么就是都允许收录的意思。
