robots.txt文件是什么意思?怎么用?最好详细点,谢谢。

2020-05-25 社会 94阅读
简单点说这个是告诉搜索引擎蜘蛛不要去抓去网站上的某个文件或是网页,这个就可以集中权重。比如你的网站首页的联系我们,关于我们,更多这样的连接不想被抓取就可以robots掉。格式的话你已经百科了,应该知道了哈
声明:你问我答网所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系fangmu6661024@163.com