使用Python爬取腾讯新闻疫情数据及可视化分析

使用Python爬取腾讯新闻疫情数据，并使用pyecharts可视化分析

一、选题背景

疫情从2020年开始到现在，一直都是最受人瞩目的事件之一。其上面的数据也是我们最为关注的因素，也是反映最直观的数据，也是最能够反映疫情的状况的方面。近期，国内的疫情又出现了反弹，腾讯新闻网站上的新冠疫情疫情实时追踪上的数据，也日益在更新，在本土现有确诊、现有确诊、累计确诊、无症状感染者、境外输入，都有在实时更新，所以选取这些数据，进行可视化分析，让网页上数据更加清晰明了，也让新冠疫情的局势更加一目了然。

二、主题式网络爬虫设计方案

1.主题式网络爬虫名称

·使用Python爬取腾讯新闻疫情数据

2.主题式网络爬虫爬取的内容与数据特征分析

·所要爬取数据的网址：https://news.qq.com/zt2020/page/feiyan.htm#/

·对于静态网页，我们只需要把网页地址栏中的url传到get请求中就可以轻松地获取到网页的数据。

  以浙江的数据界面为例，根据源代码筐显示，所需要的网址和所需要的数据集都均有体现，我们所要用的网址有了，就可以进行数据爬取。

3.主题式网络爬虫设计方案概述

（1）首先进行模块导入，将数据爬取所需要的模块进行导入，方便进行数据爬取

  ·源码：

（2）抓取数据，将数据从对应的网址中抓取出来，利用get（）语句将数据从网址中提取出来

     ·源码：

（3）将提取的数据导入excel中，方便后面的数据分析及数据可视化，即图像的生成及分析

      ·源码：

程序运行结果，输出前五行代码进行检验，将下面两图之间的数据进行比对，检查所生成的数据有误与否，经过检验无误，说明数据导出及数据存储成功。

三、数据可视化分析 

1.pyecharts介绍：

（1）简介：

本次的程序设计采用的是pyecharts可视化,用pyecharts组件技术以各类图表形式（柱状图、折线图、饼图）实现数据可视化模块的展示。pyecharts 是一个用于生成 Echarts 图表的类库。实际上就是 Echarts 与 Python 的对接。Echarts 是百度开源的一个数据可视化JS 库。

（2）优点：

可以很方便的对全世界各国进行地域图表绘制,同时可以在线导入数据和色板设置，让数据更加的直观且生动

2.将excel中的数据提取并进行分析

（1）绘制国内各地区现有确诊人数地图

       ·源码：

此方法最难的点在于，将图标在jupyter notebook上显示，需要导入很多模块，最终在网络资源汇总上，解决了这个问题。还有一个点是，将对应数据形成图表。

·程序运行结果：国内各地区确诊人数地图

数据分析：根据图像可知，现在疫情较为严重的地区在陕西、浙江、台湾，属于中风险的地区为内蒙古、山东、四川、云南、广西、广东、福建、湖南、河南、天津、北京；低风险地区有安徽、江苏、海南、甘肃、黑龙江、吉林、辽宁；其余地区现阶段还未出现有确诊病例。

（2）绘制国内各地区现有确诊人数柱状图

柱状图能够反映一组数据的最大值，最小值，以及数据大小之间的对比，能够直观的反应出确诊人数的分布情况。

       · 源码：

程序运行结果：

数据分析：从图标中可以看出，台湾的确诊人数是最多的，达到2339个，陕西、浙江的确诊人数居后，结合上一个国内确诊地图，将两个图像结合考虑，能够更直观的反映现阶段国内的疫情。

（3）绘制国内各地区现有确诊人数折线图

折线图，能够直观的反映数据的走向，也能够对数据之后的发展趋势进行分析

      ·源码：

·程序运行结果展示：

 ·数据分析：从图表中可以得出，台湾的疫情是最严重的，这组数据呈现的结果跟柱状图的相类似。

（4）绘制国内各地区累计确诊人数地图

       ·源码：

·程序运行结果展示：

数据分析：从图像可知，颜色的深浅层度放映了确诊人数的多少，颜色越深，累计确诊人数越多。从图像可知台湾的累计确诊数量最多，湖北比台湾少些。

（5）绘制国内各地区累计确诊人数柱状图

       ·源码

·程序运行结果展示：

· 数据分析：在这图表中显示，香港累计确诊的人数，比台湾少点，但比湖北还要多，这在地图上并不能很明显的放映，所以柱形图数据的清晰度要比地图来的高。

（6）绘制国内各地区累计确诊人数折线图

      ·源码：

·程序运行结果展示：

 ·数据分析：折线图的美观程度要比柱状图来的美观，数据的凸显度和柱状图差不多。

3.数据的持久性：

程序采用了将数据爬取后，进行了excel文件的存储，保证了数据的持久性，且每次提取都会将excel文件中的数据更新，保证了数据的及时更新性，且保存数据有利于为这个时间点爬取的数据分析，预留时间，也可以将其每次爬取的数据进行存储，方便日后数据的对比。

4.以上就是本次课程设计，完整代码如下：

四、总结：

1.预期与结果

（1）本次课程设计较好的完成了预期的目标，成功的将所需的数据集爬取出来，并进行了excel文件的生成，保证了数据保存和数据分析的准确性；

（2）利用了pyecharts进行数据可视化分析，使得数据能够更直观，更明了的展示，这也给数据分析提供了便利，也让数据分析更加准确。

2.不足之处：

（1）在进行利用pyecharts进行可视化分析的时候，有许多知识点和语句都是含糊不清，为了让数据更加的清晰，花费了过多的时间；

（2）在于jupyter notebook上图标的显示上也花费了不少的时间，需要将其需要的库进行下载安装，也花费了不少的时间；

3.收获：

通过这次的课程设计，对于pyecharts的数据分析更加的熟练，但还是需要改进，也懂得了如何在pyecharts可视化分析的时候，需要什么库，要怎么样才能在jupyter notebook上显示图表。