PowerBI也能做爬虫:爬取豆瓣Top电影排行榜 | 您所在的位置:网站首页 › 豆瓣图书接口怎么打开 › PowerBI也能做爬虫:爬取豆瓣Top电影排行榜 |
对于简单的页面数据爬取,其实使用PowerBI就可以可视化直接实现了,不需要另外写爬虫程序。本文以爬取豆瓣Top250电影排行榜示例说明下操作的基本过程。 一、分析URL规律及网页结构打开豆瓣电影Top 250 页面:https://movie.douban.com/top250 观察每页有25部电影,总共10页 观察第二页开始,URL的变化 第二页https://movie.douban.com/top250?start=25&filter= 第三页https://movie.douban.com/top250?start=50&filter= …… 每一页请求的URL带上参数start=25*(页数-1)即可 首先需设置预览功能:打开文件—选项,勾选新web表推理 输入URL地址https://movie.douban.com/top250?start=0&filter= PowerBI已经初步识别了页面的数据 但是发现识别的数据不太准确,需要修改,点击“使用示例添加表”进去手动识别调整 比如我们发现PowerBI自动识别的第2列“电影名”不对,只识别了其中一部分 新增我们需要爬取的列 在单元格输入我们需要爬取的类型,PowerBI就会自动识别 输入完后,发现第二行不是应是霸王别姬,但是没有识别出来。 插入第二行,帮助系统识别规律。 同理,检查其他行、列。 注意到界面一直提示“找不到下面一列或多列示例值得CSS选择器:年代/国家/类型” 相关数据PowerBI提取不出来,原因是想要的这个数据,并不能用CSS表达式选择得出来 使用火狐浏览器检查下,并不能提取到CSS表达式。因此这类问题只能另想办法了,比如扩大范围抓取了,后续再做数据整理。 进去Power Query后台,对查询新建页码参数 将页码参数插入URL 设置源,将URL拆分成三段,为: https://movie.douban.com/top250?start= 页面 &filter= 创建函数:对电影查询,右键创建函数 新建空白查询,使用List.Numbers(0,10,25)创建等差数列 将List转换为表,并修改类型为文本 对新建的查询调用自定义函数 展开列,即得到需要的数据 添加索引列,处理下排名 至此Top250电影数据爬取完毕 |
CopyRight 2018-2019 实验室设备网 版权所有 |