数据分析中常见的10种数据编码方式 |
您所在的位置:网站首页 › 用函数处理文本型数据教学设计思路 › 数据分析中常见的10种数据编码方式 |
目录 数值型数据编码 1 - 使用自定义函数 + 循环遍历 2 - 使用 map + 自定义函数 3 - 使用 apply + 匿名函数 4 - 使用cut 5 - 使用 sklearn 二值化 文本型数据编码 6 - 使用 replace 7 - 使用map 8 - 使用astype 9 - 使用 sklearn 10 - 使用factorize 在使用Python进行机器学习时,很多算法都需要我们对分类特征进行转换(编码),即根据某一列的值,新增(修改)一列。 这个操作在pandas中也有多种解决方案,本文就将介绍十种方法,代码拿走就用,希望你在遇到不同类型的数据时,可以灵活使用。 下面先创建用于示例的数据: import pandas as pd df = pd.DataFrame({ "Sex": pd.Series(['Male','Female','Male','Male','Male','Female','Male','Male','Female','Female']), "Course Name": pd.Series(['Python','Java','C','Sql','Linux','Python','Python','Java','C','Php']), "Score":[95,85,75,65,55,95,75,65,55,85]}) df首先然是最简单,最笨的方法,自己写一个函数来转换数据,并用循环遍历,肯定就是一个def加一个for df1 = df.copy() def myfun(x): if x>90: return 'A' elif x>=80 and x=70 and x=60 and x90: return 'A' elif x>=80 and x=70 and x=60 and x 90 else ( 'B' if 90 > x >= 80 else ('C' if 80 > x >= 70 else ('D' if 70 > x >= 60 else 'E')))) df3
现在,让我们继续了解更高级的pandas函数,依旧是对 Score 进行编码,使用pd.cut,并指定划分的区间后,可以直接帮你分好组 df4 = df.copy() bins = [0, 59, 70, 80, 100] df4['Score_Label'] = pd.cut(df4['Score'], bins) df4
也可以直接使用labels参数来修改对应组的名称,是不是方便多了 df4['Score_Label_new'] = pd.cut(df4['Score'], bins, labels=[ 'low', 'middle', 'good', 'perfect']) df4 既然是和机器学习相关,sklearn肯定跑不掉,如果需要新增一列并判定成绩是否及格,就可以使用Binarizer函数,代码也是简洁好懂 from sklearn.preprocessing import Binarizer df5 = df.copy() binerize = Binarizer(threshold = 60) trans = binerize.fit_transform(np.array(df1['Score']).reshape(-1,1)) df5['Score_Label'] = trans df5 下面介绍更常见的,对文本数据进行转换打标签。例如新增一列,将性别男、女分别标记为0、1 6 - 使用 replace首先介绍replace,但要注意的是,上面说过的自定义函数相关方法依旧是可行的 df6 = df.copy() df6['Sex_Label'] = df6['Sex'].replace(['Male','Female'],[0,1]) df6
上面是对性别操作,因为只有男女,所以可以手动指定0、1,但要是类别很多,也可以使用pd.value_counts()来自动指定标签,例如对Course Name列分组 df6 = df.copy() value = df6['Course Name'].value_counts() value_map = dict((v, i) for i,v in enumerate(value.index)) df6['Course Name_Label'] = df6.replace({'Course Name':value_map})['Course Name'] df6额外强调的是,新增一列,一定要能够想到map df7 = df.copy() Map = {elem:index for index,elem in enumerate(set(df["Course Name"]))} df7['Course Name_Label'] = df7['Course Name'].map(Map) df7这个方法应该很多人不知道,这就属于上面提到的知乎问题,能实现的方法太多了 df8 = df.copy() value = df8['Course Name'].astype('category') df8['Course Name_Label'] = value.cat.codes df8同数值型一样,这种机器学习中的经典操作,sklearn一定有办法,使用LabelEncoder可以对分类数据进行编码 from sklearn.preprocessing import LabelEncoder df9 = df.copy() le = LabelEncoder() le.fit(df9['Sex']) df9['Sex_Label'] = le.transform(df9['Sex']) le.fit(df9['Course Name']) df9['Course Name_Label'] = le.transform(df9['Course Name']) df9一次性转换两列也是可以的 from sklearn.preprocessing import LabelEncoder df9 = df.copy() le = OrdinalEncoder() le.fit(df9[['Sex','Course Name']]) df9[['Sex_Label','Course Name_Label']] = le.transform(df9[['Sex','Course Name']]) df9 最后,再介绍一个小众但好用的pandas方法,我们需要注意到,在上面的方法中,自动生成的Course Name_Label列,虽然一个数据对应一个语言,因为避免写自定义函数或者字典,这样可以自动生成,所以大多是无序的。 如果我们希望它是有序的,也就是 Python 对应 0,Java对应1,除了自己指定,还有什么优雅的办法?这时可以使用factorize,它会根据出现顺序进行编码 df10 = df.copy() df10['Course Name_Label'] = pd.factorize(df10['Course Name'])[0] df10结合匿名函数,我们可以做到对多列进行有序编码转换 df10 = df.copy() cat_columns = df10.select_dtypes(['object']).columns df10[['Sex_Label', 'Course Name_Label']] = df10[cat_columns].apply( lambda x: pd.factorize(x)[0]) df10以上就是数据分析中常用的10种编码方式,不同完全记住所有方法与细节,只需知道有这么个函数能完成这样操作,需要用时能想到,想到再来查就行 |
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭 |