获取的岗位数据来源于某招聘网站，采取爬虫的方式获取,岗位搜索的关键词为：“数据分析”，爬取的信息包括：岗位名称，城市，薪酬，学历要求，经验要求，岗位描述/职责，分五次爬取，爬取了北京、上海、广州、深圳、南京五个城市的岗位数据共1472条

在清洗之前，我已经将爬取的北京、上海、广州、深圳、南京的数据合并为一个excel文件，以下直接读取（使用read_csv时出现错误，可能是因为岗位职责/描述一栏，数据本身就包含逗号的缘故，故使用read_excel），这次数据清洗主要使用pandas库，的清洗工作包括：

清洗后的数据预览如下图：

这次采集的数据维度较少，仅进行简单的分析，不涉及高深的统计学理论

代码如下：

以上，一共采集了1472条数据分析相关岗位的信息。从城市分布来看，北京和上海的均为450条，并不是因为这两个城市仅有450个数据分析相关岗位，而是因为该招聘网站只显示前450条招聘信息，爬虫爬到450条时便停止了，该招聘网站上，深圳和广州的岗位数量较北上少，南京最少，仅有35条数据分析相关岗位的招聘信息。 从要求的工作经验来看，大部分企业的需求仍然是有工作经验的数据分析师，招聘一年以下工作经验（含应届毕业生）的仅占16.5%，企业都想招进来就能直接上手的，而学校开设数据科学相关专业也只是近两年的事，很少应届生能够直接满足企业的需求；招聘1-5年工作经验占比70%以上，到10年以上工作经验仅有2条岗位信息，这也是因为数据分析师近几年才发展起来的职业，能有十年以上数据科学相关工作经验的职业人员本身就很少。

先使用pyecharts库绘制箱线图，代码如下：

效果如下 可以看到pyecharts绘制箱线图默认没有排除离群点的影响，由于没有找到设置的相关参数，因此转用matplotlib,matplotlib绘制代码和效果如下：

这里主要从不同城市的最低薪酬（左边）和最高薪酬（右边）两个角度进行分析。最低薪酬的平均水平来看，北京、上海、深圳的几乎在同一水平，广州和南京的略低一些，整体来看，最低均在20K以下；从最高薪酬来看，波动明显比最低薪酬大得多，最大值出现在广州，达到了100k，平均水平来看，北京、上海、深圳均在20k左右及以上，而广州和南京的大部分仍在20k以下。

最低薪酬来看，大专的平均薪酬水平最低，本科和硕士差不多，博士学历的波动最小、最低薪酬也在15k以上，这也说明大专到本科是一个小分水岭、硕士到博士是一个大分水岭当然这也有，而本科和硕士的基本差不多；最高薪酬来看，大专学历的薪酬水平整体上较其余学历略低，本科和硕士依旧相差不大，奇怪的是博士的最高薪酬差强人意。 这里有一个重要原因是这次采集数据采用的搜索关键字是‘数据分析’，而对大部分企业而言，他们的数据分析工作并不需要博士学历，因此此次仅采集到3个招聘博士的岗位信息（如下图所示），不具有代表性。

与学历相比，不同工作经验带来的薪酬差距要大得多，无论从最低薪酬还是最高薪酬来看，都能看到薪酬随工作经验的明显递增趋势，特别是工作3-5年后，薪酬增长速度较快。如下图所示，这里要求10年以上工作经验的岗位仅有2个，因此也不具有代表性。

以上是使用jieba库分词，清除无关的字符等，下面绘制招聘需求里高频词汇的词云。

提取1472条招聘岗位的岗位说明信息中的高频词汇，绘制的词云图如上。可以明显看到‘业务’、‘产品’、‘运营’、‘经验’、‘沟通’、‘用户’、‘行业’、‘报告’等字眼，可以看出：

接下来在看现在企业招聘数据分析师一般要求哪些技能：

对招聘的技能要求进行提取【注意：这里将R排除了，因为没能成功有效统计R技能需求的实际岗位数量】，可以看到：

最后，再给出一个使用Jupyter完成整个流程的截图：