怎么知道网站的robots.txt。。。或者如何查robots.txt

2021-11-04 家居 160阅读
robots.txt文件应该放在网站根目录下,用好robots是很容易为你网站提权的。
robots.txt其实就是个记事本文件,这个文件应该放到网站的根目录
如想让蜘蛛抓取你的所有页面,可以上传一个空的记事本文件命名为“robots.txt”上传到根目录即可
声明:你问我答网所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系fangmu6661024@163.com