爬取城市GDP排名

一、选题的背景（10分）

为什么要选择此选题？要达到的数据分析目标是什么？从社会、经济、技术、数据来源等方面进行描述。 （200 字以内）

经济的发展对一个国家具有巨大的意义。我国的GDP逐年增长，经济发展迅速。选择该主题是为了通过爬虫爬取城市GDP排名及其数据，快速地反映出城市的发展情况。数据分析的目标是通过python中的matplotlib、pandas、seaborn、wordcloud等库做出图表和云词图能让我们快速精确地知道城市目前的发展情况及以后的发展的目标，对于GDP这一重要的经济指标，探寻其影响因素对于政府正确决策，经济快速发展，社会稳定具有重要意义，也是现今相关研究的重要方向。

二、设计方案（20分）

1、主题式网络主题式网络爬虫设计方案

（1）爬虫名称：爬取城市GDP排名

（2）网络爬虫设计方案概述:实现思路：在浏览器中通过F12访问网页源代码,，分析网站源代码，找到自己所需要的数据所在的位置,提取数据,对数据进行保存数据，再对数据进行清洗和处理，数据分析与可视化处理技术难点：对库使用和库中函数的运用，爬取的内容的机构分析处理

2、主题页面的结构特征分析

主题页面的结构与特征分析:通过页面的结构分析，可以得到各个数据之间的便签都有关联的关系，城市标签分布在城市中，排名标签分布排名中，19年GDP标签分布在2019上半年GDP（亿元）中，18年GDP标签分布在2018上半年GDP（亿元）中，名义增速标签分布在名义增速中。各个值则在这种形式中。

代码如下：3.网络爬虫程序设计

（1）数据爬取与采集

通过运用python中的requests、lxml、pandas库对网页进行爬取数据，然后将数据存为csv文件。

（2）数据清洗

通过运用python中的pandas、numpy库等对爬取的csv文件进行数据清洗，将空值、错误值等去除和填充。

（3）数据可视化分析

通过使用python中的padas、matplotlib、seaborn、wordcloud、jieba等库对数据进行处理，使其转化为图表和云词图，通过图表和云词图对数据进行分析。

三、实现步骤及代码（60分）

1.数据爬取与采集

通过运用python中的requests、lxml、pandas库对网页进行爬取数据，然后将数据存为csv文件。首先，我主要爬取的是该网页2018年和2019年的城市排名、城市名称、城市2018和2019年上半年的gdp和增速。具体为先伪装爬虫，然后发送一个get请求后构建一个xpath的解析对象，通过etree.html()将html的字符串转化为element对象。然后建空列表，通过for循环对其存入列表中，列表中采用append生成了一个多维数组。最后，又一次采用for循环将数据存入空列表，然后将列表中的数据存入2018和2019年上半年中国前十名城市GDP排名.scv文件中。

爬取的网站：http://www.860816.com/aricle.asp?id=1785

import requestsfrom lxml import etreeimport pandas as pd

#爬取2019年上半年中国前10名城市#伪装爬虫headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362'}url = "http://www.860816.com/aricle.asp?id=1785" r = requests.get(url,headers = headers)#发送get请求r.encoding=r.apparent_encoding#构建一个xpath解析对象html = etree.HTML(r.text)#利用etree.HTML()将html字符串转化为element对象,element对象是xpath语法的使用对象，element对象可由html字符串转化table = html.xpath("//table[@class='ke-zeroborder']/tbody")a=[]b=[]c=[]d=[]e=[]lt=[]for td in table: number = td.xpath(".//td[@class='et2'][1]/text()")[1:11] name = td.xpath(".//td[@class='et2'][2]/text()")[1:11] s2019GDP = td.xpath(".//td[@class='et2'][3]/text()")[1:11] #2019上半年GDP（亿元） s2018GDP = td.xpath(".//td[@class='et2'][4]/text()")[1:11] increase1_3 = td.xpath(".//td[@class='et2'][5]/text()")[1:3] increase2_10 = td.xpath(".//td[@class='et3']/text()")[0:8]

for i in range(10): a.append(number[i].strip()) #用append生成多维数组 b.append(name[i].strip()) #.strip删除多余的空格换行 c.append(s2019GDP[i].strip()) d.append(s2018GDP[i].strip()) for i in range(2): e.append(increase1_3[i].strip()) for i in range(8): e.append(increase2_10[i].strip())

e[2],e[1] = e[1],e[2]

lt=[]for i in range(10): lt.append([a[i],b[i],c[i],d[i],e[i]])

df=pd.DataFrame(lt,columns=["排名","城市","一九上半年GDP","一八上半年GDP","名义增速"])print(df)df.to_csv('2018和2019年上半年中国前十名城市GDP排名.csv',encoding = 'gbk')#保存文件，数据持久化

2.数据清洗

首先，先读取爬取2018和2019年上半年中国前十名城市GDP排名.csv文件。代码和结果：

然后在进行重复值处理，检查是否有重复值，代码和结果如下：

接下去对数据进行查看统计信息，代码和结果如下：

最后对数据进行查看其数据类型，代码和结果如下：

3.数据可视化分析

首先，我们先运用python的matplotlib、pandas、numpy库对18年和19年的数据进行可视化处理：

18年各城市GPD柱形图和折线图：

最后，用wordcloud、pandas、jieba、matplotlib、numpy等库进行云词图制作。

做云词图采用的图片为：

代码和结果如下：

通过云词图的制作，我觉得在如今的疫情时代，中国不管哪个省、哪个城市GDP都已经恢复正常经济工作并持续增长，通过经济高速增长使中国数百万人摆脱了贫困，过上了幸福美满的生活。中国是如此的强大，所以我相信未来的中国必定是世界第一！

完整代码

四、总结（10分）

描述完成此项目得到哪些有益的结论？是否达到预期的目标？以及要改进的建议？

1.结论

按名义GDP的名义增速排名，一线城市——上海、北京、深圳和广州是中国最大的城市，占中国GDP总量的12.5%。中国经济高度集中在最大的城市，前十大城市合计GDP占中国GDP的23.2%。前十大城市中,四座城市——上海、北京、重庆和天津是直辖市，而另外六座城市大多是江苏、四川、湖北和浙江等资源大省的省会。广东是唯一有两座城市（深圳和广州）入选前十的省份。按以上数据可得出中国最富裕的城市主要位于中国南部和东部沿海地区。

2.目标

已经达到我预期的目标。通过对爬取的数据进行数据可视化分析，通过python中的库编写代码画出一些图表和云词图，可推断出中国经济一直朝正向增长，并说明出中国城市未来发展是光明的。

3.建议

（1）由于网页未更新出2019年后各城市GDP的情况，所以无法更精确地呈现出中国各城市经济现阶段的发展情况。

（2）对python库的使用不是特别的娴熟，绘画出的图并不是特别直观。