首先怀疑的是不是设置禁止抓取的规则影响了,因为修改规则比较频繁,于是百度反馈一下
站长平台 【抓取异常】 【连接超时次数】 包不包括服务器反回403的状态码
站长平台回复:
您好,抓取异常下如果出现403错误,可以在下方的具体链接错误进行查看,上方图示只展现链接超时、无法抓取和连同等错误问题。感谢您对百度的关注和支持!
而且自己去掉规则,隔两天还是有抓取失败的情况
那就分析一下什么情况会出现【连接超时次数】
站长平台回复:
您好,分析是服务器稳定性问题造成网站抓取超时,目前网站的整体抓取情况良好。感谢您对百度的关注和支持!
是服务器不稳定吗,于是查一下google的站长平台,没有看到抓取失败的情况
于是这个问题就这样搁下了
今天在dnspod设置域名的时候发现,单独为百度的搜索引擎设置了百度的cdn,难道是这个引起的,百度的cdn在试用的时候就老是502错误,而且还跟百度人员QQ沟通过,回复都是服务器错误,服务器根本没有问题。
把百度的搜索引擎设置直接指向ip,过几天看一下结果发现,没有在出现【连接超时次数】的情况