使用Python获取上海详细疫情数据（一）

抽空之余，写个小脚本，获取下上海详细的疫情数据，以作后续的详实数据分析（纯爱好），或者仅仅作为对历史的一种数据样本式的保存也未尝不可，顺便吧，缓解或者平复下情绪。

阅读本文章需要读者有一定的Python基础，且对XPATH、正则、selenium有一定程度的了解（知道基础知识和基础语法即可），并且对Python数据持久化手段有一定的了解（本文内使用的是shelve，因为方便）。

本文是通过爬虫手段，对上海卫健委官网发布的每日详实数据进行分析并解析出来，包括全市每日新增确诊、新增无症状感染者，各区每日新增确认、新增无症状感染者、新增人员居住小区名称，可以认为把每日发布的核心数据都解析了下来。

先声明下，此行为非商业行为，非盈利目的。

在解析的过程中，因为3月份和4月份部分时间段，上海发布的数据格式，包括每个区发布的文案格式，都特么有一定程度的不统一，造成解析工作比较蛋疼。但从4月5日之后，整体格式算是稳定了下来，所以本文在解析的时候，也根据不同的时间段的文章单独写了解析方法。

最后，经实测，脚本表现稳定、完美。

现在贴出来，另一方面，也算是 和Python爱好者一起交流学习。

为了使得脚本整体可读、可维护，共分了3个模块，分别是settings、main、tools，其中settings主要管理配置信息（核心是发布数据的文章地址），main是主程序，tools是各类解析方法（函数）。

好了，不扯淡了，开始贴代码。

先贴比较容易的，配置文件，整体代码如下

 该配置文件主要管理待爬取的文章地址（因为上面所述，上海发布的数据在不同时段格式有一定差异，所以分了两组文章地址），以及进行数据存储的shelve数据库地址（可以直接使用，因为地址没有写死，是动态的根据配置文件地址生成）

以下为main文件，是此次脚本的主程序，主要是使用配置文件内信息，然后调用tools内的工具解析数据，并存储到shelve数据库内。

 以上代码，主要做以下几件事儿

因为toole文件是此次爬取的核心，并且包含的逻辑比较多，所以笔者分成了另外一个文章，在那个文章做详细的展示和说明。