pandas中文本数据的拆分和提取

本文主要分享文本数据的拆分，提取合并，为下一步可视化分析做好准备。 数据来源于boss与拉勾网数据分析岗位的招聘信息。 拉勾网的爬取方法见我的： 《Python selenium+beautifulsoup 登录爬取拉勾网》 《登录爬取拉勾网2.0 Python selenium》

环境配置

原始数据如下：

【job_link】与【company_link】不需要，删掉 【company_describe】与【job_skills】使用jieba与wordcloud，本文不涉及。若对词云感兴趣，请见我博客：《Python jieba+wordcloud制作词云》 本文主要展示【experience】与【city】这两列的处理方法，其他列大同小异，不再赘述。

数据准备

这一列的文本其实是杂糅了经验及学历要求。但是如果只观察前几列，很容易忽略了一些异常数据。

使用【all_data.tail( )】观察发现有的数据是【\n10k-20k\n经验1-3年 / 本科\n】，呈现【薪资+经验+学历】这种形态，这需要我们将其分割处理成【经验+学历】，统一这一列的数据形式。

pandas中使用split需要先将需要split的数据集转化为字符串。split( a,b)中的第一个参数【a】代表以某字符串作为分割点，第二个参数【b】代表分割次数，即分成【b+1】个元素。分割完成后会返回一个列表。提取列表中元素必须再次转化为字符串来进行。

拆开来看，以字符串‘k’作为分割点，数据被分为了2类：不含有薪资的只有1个元素k的列表；含有薪资的有3个元素的列表。选取该列中所有列表的第三个元素，只有一个元素的列表会在【‘e1’】列中显示为NaN，而另一类就是我们想要的信息。 此时提取出来的【‘e1’】列存在很多的NaN：

以experience列的数据填充e1列的NaN数据，最终实现整列数据统一为【经验+学历】的形式。

处理好的e1为这个样子：

当文本数据出现字母与数字混合的这种形式就需要我们使用str.extract+正则表达式来进行提取。参数【expand=Fales】代表返回dataframe数据，若为True即为数据框。 extract中的正则表达式需要用引号包住

上面的处理结果显示，有NaN存在，这是因为有的经验类别为【应届毕业生】，【不限】，【1年以下】。 findall与extract最直观的区别有二：findall会匹配多次，所有符合条件的元素返回一个group，而extract只匹配一次，直接返回数值；findall可以多条件匹配，而extract不可以。 例如，与上面同一个例子，函数换为extract( )，得到的是列表，见下图。 findall的多条件匹配，条件使用【“ ”】双引号包住，条件之间使用【|】隔开，匹配多次成功就会出现多个元素。

当然，我们不需要这么做。

跟上面的fillna的例子相同

从上面的标签来看，表达得不够完整，我们使用loc[ ]来替换掉内容。 df.loc[df [‘需要替换的列名’] ==‘被替换的内容’，‘替换好以后存在那一列名下’] = ‘替换成的内容’

替换当然不局限于原来的那一列，后文在以城市列为例。

可以看出来，有奇怪的数据混进来了，应该是临时工或者兼职，删掉。

这条代码一共三层，从里到外的含义分别是： 选取all_data里【job_experience】这一列中含有【/】的数据； all_data[ ].index是得到所需数据的索引； 使用all_data.drop( )删除数据

最后，分离学历

先观察一下：

我爬取的城市为北上广深，但原始数据多了区，需要替换，这里展示使用contains( )与loc替换的另一种方法。 使用contains之前需要先转化数据为字符串。contains会返回布尔值，含有所需寻找的字符串的数据为True。 这个方法可以大繁化简，锁定一些列中的特殊符号，比如上文使用的删除方法。

可以看到这里的loc[ ] 选取的数据是【bj】这一列的，但替换的却是【city】这一列的。

完