kettle抓取网页上的数据存储到数据表中 | 您所在的位置:网站首页 › kettle三大模块 › kettle抓取网页上的数据存储到数据表中 |
今天做一个利用kettle抓取网页数据存储到数据表中的demo,如抓取AA市的空气质量AQI 1.查看网页信息 2.按下开发者工具,查看获取空气质量日报的请求 3.弄懂了网页请求,并通过查看数据格式,可以在数据库中建表,表格如下 4.接下来就是在kettle中进行操作了 kettle的整体流程如下: 下面进行分级讲解,首先新建转换,然后建立数据库连接,这些我就不详细贴图讲解了,不懂者可以去看我前面关于kettl的博客。然后新建生成记录的输入,生成记录的详情如下图 其中的url就是前面查看得到的url请求,station就是后面拿来做where条件匹配所用。 然后新建一个Http Client的查询,详情如下 然后新建一个插入更新的输出,首先数据插入表,详情如下
如果以上步骤全部正确,点击运行即可得到数据,数据库表数据如下 以上就把网页中的数据抓取到自己的数据库中了。 这时,可能你的需求不是这样了,你的新需求是抓取AA市下某个县的的AQI数据,且把对应的信息存储到对应的表字段中。 首先重新定义表结构,新定义的表结构如下:
定义完表结构后,接下来就是kettl中的操作了,整体流程如下 定义生成记录的输入,详情如下: 然后定义Http Client,他的详情如下 然后定义一个json输入的输入,详情如下: 然后定一个字段选择,详情如下: ,如果你需要的字段就是json输入中的全部字段,字段选择可以省略 最后,定义一个插入更新的输出,详情如下: 这样,点击执行,数据库表中实现数据插入,结果如下: 可能,你看到这里会觉得把url写死了,并且不能根据时间来进行抓取,不够智能,不够优化,那么接下里就演示一个更加完善的版本,流程图如下: 如流程图所示,时间和url都是通过相应的定义获取的。首先定义一个获取系统信息的输入,详情如下: 在里面定义一个变量为dateTime,设置好类型, 然后定义一个选择字段,格式化时间,详情如下: 同时,定义一个获取变量的作业,详情如下: 需要注意的时候,变量的获取需要提前设置,设置方法如下: 找到,自己电脑安装kettle后,生成的kettle.properties配置文件,一般都在C盘下的个人用户文件夹下 然后修改kettle.properties,详情如下: 设置完后,重启kettle,否则变量不会生效 然后定义一个笛卡尔输出的记录关联,将前面获取的变量关联起来 然后编写javascript代码,获取dateTime,详情如下: 后面的定义一样,直到更新插入时的条件有变,详情如下: 最后运行,可得到结果如下: 到这里,这个功能已经基本完善。 如果你只是想获取某一行的数据话,可以加上一个过滤记录的流程,如 然后在记录里写上查询条件 如 然后将返回true的结果指向插入更新,这样插入更新的数据即为站点只为如东的数据。 当然,只想取得其中一条数据的方法还有其他,我自学阶段只用到了过滤记录这个方法,还有其他的方法,读者可以自己去尝试,或者在评论区评论,以供学习
|
CopyRight 2018-2019 实验室设备网 版权所有 |