Python的requests包在抓取页面的时候页面源代码抓取不完全,页面数据不是动态加载的。

2022-04-15 科技 467阅读
您好,首先,sys.setdefaultencodingisevil。
其次,不会用Requests就去看文档,不要乱来。
如果Requests检测不到正确的编码,那么你告诉它正确的是什么:
response.encoding='gbk'
printresponse.text
原始内容在response.content里,bytes,自己想怎么处理就怎么处理。

单个请求完全没必要用Session。直接requests.get(xxx)就可以了。
最后,弄不明白怎么处理编码错误的字符串就仔细想想,或者用Python3.x,不要散弹枪编程。
以下是Python3。Python2在那个字符串前加个u告诉它是unicode也一样。
声明:你问我答网所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系fangmu6661024@163.com