爬取和分析NBA球员排名及各项数据

一、选题的背景

NBA受到世界各地极大多数人的喜爱，不分年龄，学生、员工、劳动工人等社会各界都有热爱篮球的人，也有各自喜欢信仰的球星，在NBA中国官方网站里他们更好的了解和清楚自己喜爱的球星和其它联盟里的球星的一些数据对比，知道他们近期的一些起伏和爆发，本次爬虫建立在这基础上，通过对网页数据的提取并进行可视化对比，更好地了解联盟里球员的排名和其余各项数据之间的关系来分析对球队的贡献好与坏。

二、设计方案

1.爬虫名称：爬取NBA球员排名及各项数据

2.爬取内容：爬取NBA球员排名、场均得分、各项命中率等

3.方案概述：访问网页得到状态码200，分析网页源代码，找出所需要的的标签，逐个提取标签保存到相同路径csv文件中，读取该文件，进行数据清洗，数据模型分析，数据可视化处理，绘制排名与其余几项数据的关系图。

技术难点：

1.在爬取网页数据，提取数据成csv文件时，由于数据较为杂乱。

2. 做数据分析，即求回归系数，因为标题是文字，无法与数字作比较，需要把标题这一列删除才可。由于不明原因，输出结果经常会显示超出列表范围。

三、主题页面的结构特征分析

首先，本次爬虫爬取NBA中国官方网站(https://china.nba.com/statistics/)球员排名及各项数据

1.页面信息

在页面中找到Network（网络）之后，再找到XHR之后，刷新页面，获取到该网页的一些数据。找到保存数据的json文件

2.对json文件进行数据提取

在上一步查询的结果数据中筛选json文件找到正确的json文件之后，查询预览的结果，可以看到与需要爬取的信息相符，就是我们需要的库。

  确定json文件信息是正确且需要的之后，再查询标头，找到user—URL。

之后开始我们对NBA中国官方网站球员数据的抓包。

四、网络爬虫程序设计

1.数据爬取与采集

#爬取网页数据

结果如下：

#采集数据

结果如下：

 #保存数据

2.对数据进行清洗和处理

 #检查重复值

 #删除重复值

 #检查是否有空值

#异常值处理

 #查看统计信息

3、数据分析与可视化（例如：数据柱形图、折线图图、散点图、回归图、分布图）

 #数据可视化

#绘制柱状图

结果：

 #绘制散点图

结果：

#绘制堆叠图

结果：

 #绘制折线图

结果：

4.数据处理分析

#求回归系数

结果求得：

#绘制回归图

结果：

通过以上的分析，我们可以发现在排名与一些其他数据的比较之中，呈现出起伏的变化，可以得知一些场均得分排在前面的球员，在各项命中率，防守、进攻效率以及场均能得到的抢断和防守并没有比排在他们之后的一些球员高。从现实上的比赛来看，出手数对得分起到了一定的影响，导致场均得分较低。

5.根据数据之间的关系，分析两个变量之间的相关系数，画出散点图，并建立变量之间的回归方程（一元或多元）。

#选择场均得分以及进攻效率，防守效率和场均抢断四个特征变量，用最小二乘法分析两个变量间的二次拟合方程和拟合曲线

#绘制拟合曲线

1.进攻效率与场均得分

结果：

 2.防守效率与场均抢断

结果：

 6、数据持久化

7、将以上各部分的代码汇总，附上完整程序代码

五、总结

1.经过对主题数据的分析与可视化，可以得到哪些结论？是否达到预期的目标？

通过一系列的数据分析及可视化可以发现，在爬取的这些球员之中，根据场均得分来进行的排名，事实上并不是能那么可靠地分析一个球员的好与坏，在场上不仅仅只有得分，还有其余的各项数据，投篮的命中率以及防守、进攻效率和对球队的1帮助很大程度上并不是根据场均得分来体现，得分高命中率低，可能会导致球队落后和失分。经过一系列数据对比我们可以的到此结论，达到了预期的目标。

2.在完成此设计过程中，得到哪些收获？以及要改进的建议？

在完成设计的过程中，由于选题以及对爬取知识的欠缺耗费了大量的时间，期间浏览、了解、和学习了许多老师推荐的优秀作品，以及CSDN，博客园里的许多博主发布的很好的作品，让我得到也学到了很多的新的知识，学到了很多不同的完善和解决同一个问题的方法，但是还没有完全掌握并使用使之成为自己的东西，还需要在课后进行更仔细的研究。在完成设计的过程中，需要感谢一些掌握知识比较透彻的同学对我出现的问题的指正。在绘制分析图时课本里的例题分析讲解的也比较透彻，当然这些知识在课上也都很清楚地进行过讲解，在课后作业中也进行了多次练习。在设计中，存在很多的不足之处，但是，通过这次设计能让我更好地警醒自己的Python水平和理解的有限。同样，这些不足会给我更大的动力去探索Python。总而言之，这次的设计很大程度，很大意义上对我起到了巨大的帮助和督促。课下的空余时间依然要不断努力学习新的知识完善自己。