网站的robots.txt文件在哪

2020-05-09 综合 76阅读
所谓的根目录就是你的网站程序所在的那个目录,一般的根目录貌似都是个叫WEB或者www文件夹
robots.txt文件必须驻留在域的根目录,并且必须命名为“robots.txt”。
位于子目录中的robots.txt文件无效,因为漫游器只在域的根目录这个文件。
例如,http://www.baidu.com/robots.txt是有效位置。
但是,http://www.baidu.com/mysite/robots.txt不是。
声明:你问我答网所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系fangmu6661024@163.com