Python和Excel进行缺失值处理的方法

用微信扫码二维码

分享至好友和朋友圈

　　缺失值就是由某些原因导致部分数据为空,对于为空的这部分数据我们一般有两种处理方式,一种是删降,即把含有缺失值的数据删除；另一种是填充,即把缺失的那部分数据用某个值代替。

　　01

　　缺失值查看

　　对缺失值进行处理,首先要把缺失值找出来,也就是查看哪列有缺失值。

　　Excel实现

　　在Excel中我们先选中一列没有缺失值的数据,看一下这一列数据共有多少个。

　　然后把其他列的计数与这一列进行对比小于这一列数据个数的就代表有缺失值,值就是缺失个数。

　　下图中非缺失值列的数据计数为7,姓名这一列计数为5。这就表明姓名这一列有2个缺失值。

　　如果想看整个数据表中每列数据的缺失情况,则要挨个选中每一列去判断该列是否有缺失值如果数据不是特别多,你想看到具体是哪个单元格缺失,则可以利用定位条件(按快捷键Ctrl+G可弹出该对话框)查找,在定位条件对话框中选择空值,单击确定就会把所有的空值选中,如下图所示:

　　通过定位条件把缺失值选出来的结果，如下图所示：

　　Python实现

　　Python可以直接利用info()方法，得到每一列的缺失情况。

　　Python中的缺失值一般用NAN表示，从info()方法来看，姓名这一列有4个非null值，而其他列都有6个非NAN值，说明姓名这一列有2个空值。

　　之后再使用isnull()方法来判断哪个值是缺失值，如果是缺失值则返回TRUE,不是就返回FALSE。如下图

　　02

　　缺失值删除

　　缺失值分为两种，一种是一行中某一个是缺失值；另一种是一行全是缺失值，即空白行。

　　Excel实现

　　在Excel中我们可以利用定位条件(按快捷键Ctrl+G可弹出该对话框)查找,在定位条件对话框中选择空值,找到这两种缺失值。

　　含有缺失值的部分会被选中，某一个或者某一行，然后单击鼠标右键在弹出的对话框中选择删除整行。

　　Python实现

　　Python可以利用dropna()方法，dropna()方法默认删除含有缺失值的一行，不论这一行有多少缺失值。如下图：

　　运行dropna()后删除含有空值的行，返回删除后的数据。如果想删除那些全为空值的行，只要给dropna()方法传入一个参数how=all即可。如下图：

　　第四行由于全是空值，被删除了。

　　03

　　缺失值填充

　　上面介绍了缺失值的删除，但是数据是宝贵的，一般情况下只要数据缺失比例不是过高（不大于30%），尽量不删除，而是选择填充。

　　Excel实现

　　在Excel中，缺失值的填充和缺失值的删除一样，利用的也是定位条件，先把缺失值找到，然后在第一个缺失值的单元格中输入要填充的值，最常用的就是用0填充，输入以后按Ctrl+Enter组合键就可以对所有缺失值进行填充。

　　缺失值填充前后对比为：

　　年龄用数字填充合适，但是性别和姓名用数字填充就不太合适，那么可不可以分开填充？

　　可以！选中填充的那一列，按照填充全部数据的方式进行填充即可。只不过需要填充几列，需要执行几次操作。

　　填充前后的对比如上：

　　年龄用平均数填充，性别用众数填充。

　　除了这两种填充方式，还有向前填充（即用缺失值的前一个非缺失值填充）向后填充等方式。

　　Python实现

　　在Python中，我们利用的fillna()方法对数据表中的所有缺失值进行填充，在fillna（）后面的括号里输入要填充的值即可。

　　在Python中我们也可以按照不同的列来填充，只要在fillna()中指明列名即可。

　　也可以同时对多列填充不同的值：

　　以上是用Python和Excel进行缺失值处理的方法，后续会为大家分享重复值，异常值的处理方法，有问题也可以评论区留言。

　　受疫情影响，铁子们必须抓住线上参赛的数学建模竞赛的机会，含金量很高，助力保研考研加分。

　　仅次于国赛和美赛的的第三赛事，且被多所高校推广甚至列为国级赛事选拔赛的：

　　2022第七届数维杯数学建模挑战赛正在报名中

　　进群领取历年赛题及优秀论文等相关备赛资料，同时获取竞赛最新资讯

特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.