如何批量爬取多个网页上不同样式的表格?抓取「中国质量新闻网」上多

2020-04-24 教育 149阅读
  多页数据和单页的原理其实差不多,但是,要根据页面的规律,通过一些函数去实现循环调用。下面用全部页面为例进行说明:列表转换函数(List。Transform)及数据批方法处理List。Transform函数的基本功能是实现一个列表到另一个列表的转换,即输入一个列表,相应地得到一个经某些规则转换后的列表。
   先来看一下List。Transform函数的基本语法: List。Transform(列表 , 转换函数)语法本身很简单,但是,其中的两个参数都非常灵活,因为:1、第一个参数是列表,但是,列表里的内容是可以任意的东西,简单到几个数字,复杂到一个个的表,甚至可以是表中带表等任何东西!2、转换函数可以简单到只返回一个字符,却又可以复杂到引用各种函数写任何功能强大的函数体!所以,单纯学会这个函数的简单用法不难,但要做到灵活运用,就需要在日后大量的实际案例中磨练。
  现从几个例子,先让大家对这个函数有一个比较全面的认识。例1、给某个列表中的数字都加上1(简单的对应转换)= List。Transform({30,40,21,33},each _+1)结果:{31,41,22,34}说明:转换函数中的下换线“_”表示输入列表中的每一个(当前计算)元素例2、生成一个带10个元素的列表,每个元素的内容均为“A”(生成的内容可以和输入列表完全没有关系)= List。
  Transform({1。。10}, each"A")结果:{A,A,A,A,A,A,A,A,A,A}例3、将数字1~26转换为字母“A”~“Z”= List。Transform( {1。。26}, each Character。FromNumber(64+_) )上面3个例子,简单体现了List。
  Transform函数将一个列表转换成另一个列表的过程,但是,这仅仅是它的基本功能,实际上,List。Transform还给了你一个批量操作的机制,让你可以批量操作各种内容!例4、批量获取全部数据首先回头看一下单页实时信息操作时生成的代码:这个代码里,实际上只需要将页码进行批量输入,就可以得到批量信息,我们先删除其他步骤代码,仅保留最关键的两行代码,然后套上List。
  Transform函数修改为自定义函数(并将两行代码连成一个完整语句)如下:这样,当我们在pg_lst参数中输入页码列表时,所有页码会被List。Transform函数批量转换为对应的数据,如取第1~3页数据:结果如下: 得到了批量的数据,后续就可以转换到表,然后进行后续的数据处理了,不再赘述。
  欢迎关注【Excel到PowerBI】我是大海,微软认证Excel专家,企业签约PowerBI顾问让我们一起学习,共同进步!。
声明:你问我答网所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系fangmu6661024@163.com