pandas 取出dataframe中重复的所有数据(关于某字段),并排序,便于比较数据的不同点。 | 您所在的位置:网站首页 › wps2009筛选重复数据 › pandas 取出dataframe中重复的所有数据(关于某字段),并排序,便于比较数据的不同点。 |
当需要的是DataFrame那些重复数据,尤其是要比较重复数据的异同时,就需要将重复数据提取出来时,再关联原数据,并做排序,进行比较。 方法一、主要思路: 1. 采用drop_duplicates对数据去两次重,一次将重复数据保留一个(keep='first),另一次将重复数据全部去除(keep=False); 2. 合并两者,并去重,得到重复的字段; 3、由重复的字段,得到原数据的重复所有数据,并进行排序,便于比较数据的异同;
示例代码如下: #获取重复的数据 import pandas as pd data={'state':[1,1,2,2,1,2,2],'pop':['a','b','c','d','b','c','d']} frame=pd.DataFrame(data) frame a = frame.drop_duplicates(subset=['pop'],keep='first') #保留重复数据的第一个 b = frame.drop_duplicates(subset=['pop'],keep=False) #去掉重复的数据 c = a.append(b).drop_duplicates(subset=['pop'],keep=False) #合并两者,再去掉重复的数据 data_cf = frame.loc[frame['pop'].isin(c['pop'])] ##获得了原数据的所有重复项 data_cf = data_cf.sort_values('pop',ascending=True) ##排序方法二: 至使用 pandas.duplicate() 代码如下: ##方法二、直接使 duplicate() frame[frame.duplicated('pop')] #返回boolean Series表示重复行,可选择仅考虑某些列
参考,https://blog.csdn.net/jasonwang_/article/details/78984852 感谢。 |
CopyRight 2018-2019 实验室设备网 版权所有 |