基于大数据技术的共享单车数据分析系统设计与实现开题报告

4.1课题任务

基于主流共享单车平台进行采集数据，将采集数据经过数据清洗后储存于大数据平台；基于MySQL等大数据平台技术，使用flask框架实现显示用户轨迹、用户人群特征、站点散点图、用户使用情况等主要功能。

4.2重点内容

   ①面向互联网主流共享单车网站完成开始时间，结束时间，开始站点，结束站点，使用者信息爬取、数据预处理及数据存储。

②基于大数据平台技术的数据仓库构建。

③利用web可视化框架flask来构造前端的用户层面，用来进行操作。

④调用echarts来进行数据的可视化。

4.3研究方法

①功能分析法

主要对互联网主流的共享单车平台的功能进行分析，以用户的角度进行不同功能的分析。总结出共享单车平台的不足之处，为后续开发共享单车平台提供经验。

②文献研究法

主要通过对文献的阅读，了解国内外共享单车的现状，为课题研究方向提供保障。

③原型设计法

由于共享单车平台功能相对复杂，因此本课题拟从系统最核心的功能出发，设计开发一个原型系统，验证本课题的主要技术，为后续工作奠定坚实基础。

4.4实现途径

Web系统基于flask框架设计开发。数据采集模块基于采用Scrapy框架；数据仓库构建选用大数据平台的数据仓库工具MySQL，用来进行数据的提取、转化、加载，实现数据的导入；利用web可视化框架flask来构造前端的用户层面，用来进行操作，然后服务器收取到数据之后就能调用echarts来对数据进行可视化。

①用户骑行数据采集

使用Scrapy框架从哈啰单车平台爬取信息日期、时间、开始站点、结束站点和用户个人信息（性别，年龄）等数据；并将爬取数据经过数据清洗后存入MySQL数据库中。

②数据仓库构建

MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中。数据库的结构是数据库字段和csv文件一一对应，先将每个元素都保存到数据库中，等到我们需要数据的时候，再对得到的数据进行处理，筛选。

③前后台功能实现

前端方面，我们利用一个web可视化框架flask来构造前端的用户层面，用来进行操作，发出指令。后台的服务器，我们是利用flask搭建的本地小型服务器，方便快捷。服务器取到数据之后就可以对数据进行可视化了，我这里用的可视化方法是调用echarts来进行可视化。

    1）利用数据可视化画散点图

    首先要处理的是站点散点图，我们先筛选数据，去掉没有用的时间，日期，用户信息等数据，建立一个表用来保存起始站，出发站等数据进行处理。我们构建一个坐标轴，将每个站点定义为一个三维数组（经度，纬度，使用数量），可以将每个站点根据位置显示到坐标轴上，而点的大小也就表示了这个站点被使用次数的多少。定义每个点的三维数据，定义一个三维数据item，把每个点的经度，纬度都保存在item中，然后用一个计数器来统计使用次数。最后我们调用echarts中的scatter函数，将每个点的三维数组赋值则可完成可视化。

我们把每个数据的时间这个项目提取出来，绘制成一幅每天共享单车使用数量的柱状图。同样是调用echarts。先将日期数据进行去重处理，然后定义数据，横轴为日期，一个月有三十天，纵轴为使用次数。对每天使用数据进行了可视化之后我们可以清晰的看出一个月内每天使用量的对比，表格下面还配了一个按钮，是用来选择我们要显示的天数的，我们可以一次性将一个月的全部天数都显示出来，也可以选择只显示某几天来单独对比。

提取数据列表中使用时间的小时，我们可以整合出一天二十四小时的使用图像。一样的先对数据进行去重，然后调用echarts进行可视化。

数据中包含许多用户的信息包括出生年份，性别，会员身份等，我们可以对这些数据进行可视化，然后分析哈啰单车最终的面向群体是哪些人。

4.5本课题的进度时间安排

2023.05.06-2023.05.28：毕业设计（论文）答辩。